注意事项 您需要根据社区定义的连接器标准开发您自定义的连接器,才能正确地被实时计算Flink版识别并使用,因此您需要明确连接器Meta文件和声明Factory类。自定义连接器开发详情请参见 User-defined Sources&Sinks。同种类型的连接器仅可以...
本文为您介绍如何在开发者本地环境中运行和调试包含阿里云实时计算Flink版连接器的作业,以便快速验证代码的正确性,快速定位和解决问题,并节省云上成本。背景信息 当您在Inteillij IDEA中运行和调试Flink作业,如果其包含了阿里云实时...
表类型的定义 阿里云实时计算Flink版通过Flink SQL定义表对上下游存储进行映射或者使用Datastream API进行连接来实现读写。支持以下几种Flink SQL表类型的定义:源表(Source Table)Flink作业的数据输入表,是计算的驱动来源。不能作为维...
您可以通过以下任何一种方式来使用连接器:(推荐)上传连接器JAR包到实时计算控制台后,填写配置信息 直接将连接器作为项目依赖打进作业JAR包 重要 请使用我们在 支持的连接器 中指明提供DataStream API的连接器。如果某个连接器未注明...
步骤二:上传Kerberos配置文件 登录 实时计算控制台。单击目标工作空间 操作 列下的 控制台。在左侧导航栏,单击 资源管理。单击 上传资源。选择您要上传的 krb5.conf 和 keytab 文件。后续作业配置时,如果上传后的文件名为 krb5.conf 和 ...
重要 社区版CDC连接器是遵循Apache 2.0开源协议的社区开源项目,与阿里云实时计算Flink版产品提供的商业版连接器在服务支持及SLA存在差异:在使用时,如果您遇到配置失败、作业失败或数据丢失等问题,需要到开源社区寻找对应问题的解决方案...
本文为您介绍Flink Python API作业开发的背景信息、使用限制、开发方法、调试方法和连接器使用等。背景信息 Flink Python作业需要您在本地完成...实时计算Flink版还支持运行SQL和DataStream作业,开发方法请参见 SQL作业开发 和 JAR作业开发。
无 连接器(Connector)实时计算Flink版内置了丰富的连接器用于多种上下游的数据读写与同步,并支持上传和使用自定义连接器。支持的连接器 函数(Function)实时计算Flink版提供函数功能,包括内置函数和自定义函数。窗口函数概述 支持的...
您可以上传您自己开发的连接器,也可以上传实时计算Flink版提供的连接器(下载地址请参见 Connector列表)。重要 因近期Maven中心仓库目录更新问题,最新版本(例如Flink 1.17-vvr-8.0.4-1)的连接器JAR包可能没有在 一层目录 里,您可以...
相关文档 什么是阿里云实时计算Flink版 功能与优势 应用场景 开通Flink全托管
实时计算Flink版支持接入Terraform,您可以基于Terraform平台使用和管理Flink资源。背景信息 基本功能 Terraform是一种基础设施即代码(Infrastructure as Code)工具,可以通过编写简洁的代码来定义和配置云端基础设施,而不必手动操作和...
前提条件 其他阿里云账号或RAM用户共同使用实时计算Flink版产品时,需要为阿里云账号或RAM用户授权,以进行查看与修改作业运行状态等相关操作,详情请参见 作业操作账号授权。查看作业运行状态 登录 实时计算控制台。在 Flink全托管 页签,...
相关文档 什么是阿里云实时计算Flink版 应用场景 开通Flink全托管
相关文档 什么是阿里云实时计算Flink版 应用场景 开通Flink全托管
相关文档 什么是阿里云实时计算Flink版 功能与优势 基本概念 开通Flink全托管
重要 鉴于 云消息队列 RocketMQ 版 4.x标准版当前最高可达每秒5千条消息的限速机制,使用该版作为实时计算Flink版对接的消息中间件,可能会导致Flink作业运行不稳定。因此,在选择消息中间件时,如果您正在或计划通过标准版RocketMQ与Flink...
说明 实时计算Flink版默认不具备访问公网的能力,但阿里云提供的NAT网关可以实现VPC网络与公网网络互通,详情请参见 Flink全托管如何访问公网?project SLS项目名称。String 是 无 无。logStore SLS LogStore或metricstore名称。String 是 ...
相关文档 什么是阿里云实时计算Flink版 应用场景 实时数仓Hologres使用流程
不支持的服务 不负责基于实时计算Flink版的业务代码实现(包括SQL、DataStream和Python作业、自定义 UDX、自定义Format和自定义连接器)、数据正确性排查、作业性能调优和业务迁移等。不负责非产品标准能力的支持,例如产品未提供的连接器...
在您购买实时计算Flink版服务前,需要先了解实时计算Flink版的产品形态及特点,再根据业务选择合适的实例。本文为您介绍实时计算Flink版的产品形态区别、发布状态及选型建议。形态区别 产品形态 部署形态 计算引擎 开发平台 Flink全托管 ...
本文为您介绍实时计算Flink版2022年及之前产品公告,包括平台升级、API版本升级等。2022年9月19日,API版本升级公告 2022年9月19日,我们对实时计算Flink版API版本进行了升级。后续将默认使用新的API版本(V2版本)为您服务。相较于V1版本...
使用限制 仅实时计算引擎VVR 2.0.0及以上版本支持MaxCompute连接器。MaxCompute连接器仅支持At Least Once语义。说明 At Least Once语义会保证数据不缺失,但在少部分情况下,可能会将重复数据写入MaxCompute。不同的MaxCompute Tunnel出现...
Kafka连接器基于开源Apache Kafka客户端,为阿里云实时计算Flink提供高性能的数据吞吐、多种数据格式的读写和精确一次语义的支持。类别 详情 支持类型 源表和结果表 运行模式 流模式 数据格式 CSV JSON Apache Avro Confluent Avro ...
本文为您介绍如何使用对象存储OSS连接器。阿里云 对象存储OSS(Object Storage Service)是一款海量、安全、低成本和高可靠的云存储服务,可提供99.9999999999%(12个9)的数据持久性,99.995%的数据可用性。多种存储类型供选择,全面优化...
本文介绍如何通过阿里云实时计算Flink版实时读写云原生数据仓库 AnalyticDB PostgreSQL版 数据。背景信息 云原生数据仓库AnalyticDB PostgreSQL版 是一种大规模并行处理(MPP)数据仓库服务,可提供海量数据在线分析服务。实时计算Flink版 ...
权限概述 实时计算Flink版支持阿里云账号、RAM用户、RAM角色、资源目录成员方式登录并访问实时计算控制台,以及进行作业开发和运维。无论您采用何种方式登录(阿里云账号访问自己所拥有的资源除外),均需要具有相应的权限才能正常进行操作...
本文为您介绍阿里云地域和可用区的概念、选择指导以及阿里云实时计算Flink版支持的地域及可用区列表。背景信息 地域(Region):指数据中心所在的地理区域,通常按照数据中心所在的城市划分。例如,华北2(北京)地域表示数据中心所在的...
使用限制 浏览器:仅支持通过Chrome内核的浏览器访问阿里云实时计算Flink版控制台。地域及可用区:实时计算Flink在中国和海外多个区域提供服务,每个区域有一到多个可用区,支持详情请参见 地域及可用区。资源数:包年包月工作空间开通时,...
本文介绍如何通过操作审计(ActionTrail)产品查看Flink审计事件。背景信息 操作审计(ActionTrail)可以帮助...DeleteDeployment"} 实时计算Flink版事件列表 实时计算Flink版支持在操作审计中查询的事件请参见 实时计算Flink版的审计事件。
您可以在阿里云用户中心查看实时计算Flink版的费用情况。操作步骤 登录 阿里云控制台。在顶部菜单栏单击 费用,进入用户中心。在左侧导航栏,选择 账单管理>账单详情。根据需要查看消费情况或导出账单。您可以 在 明细账单 页签,消费类型 ...
检查源表数据是否进入实时计算Flink版 排错指引 这种情况下没有Failover,但数据延时会很大,请查看数据曲线页面numRecordsIn_VVP,检查各Source输入是否有数据。解决方案 检查源表,保证上游有数据进入实时计算Flink版。检查数据是否被...
Apache Flink社区于Flink 1.16.0和1.15.3版本进行了修复,阿里云实时计算Flink版已经在VVR-6.0.2及以上版本修复。但是鉴于此缺陷会导致作业运行可用性存在潜在的重大风险,我们为云上客户专属进行了低版本的修复,并将此Patch放入本次发布...
实时计算Flink版支持在Flink SQL作业中使用Python自定义函数,本文为您介绍Flink Python自定义函数的分类、Python依赖使用方法和能调优方式。自定义函数分类 分类 描述 UDSF(User Defined Scalar Function)用户自定义标量值函数,将0个、...
概述 2024年01月04日正式对外发布实时计算Flink版的引擎新版本VVR 8.0.5,包含连接器更新、性能优化以及缺陷修复。该版本是基于Apache Flink 1.17.2的企业级Flink引擎。在该版本中,我们对MySQL源表CDC在指定位点(指定偏移量和时间戳)后...
自2023年12月8日起,实时计算Flink版对接ARMS Prometheus新版计费模式,可观测监控Prometheus版专家版的计费模式变更为按写入的可观测数据量收费。变更优势 相比旧版计费模式,费用预估可节省55%以上。新版计费模式下费用节省情况请参见 ...
使用限制 仅Flink实时计算引擎VVR 6.0.0及以上版本支持云原生数据仓库AnalyticDB PostgreSQL版连接器。仅Flink实时计算引擎VVR 8.0.1及以上版本支持云原生数据仓库AnalyticDB PostgreSQL版7.0版本。暂不支持自建的Postgres SQL。语法结构 ...
免费试用:实时计算Flink版新用户可以在 免费试用 页面,单击实时计算Flink版卡片上的 立即试用,根据页面提示领取5000 CUH资源抵扣包,开通Flink进行试用。试用完毕后请及时释放不需要的资源,避免产生额外费用。59元优惠:在 产品规格 ...
如果您重新规划了IPv4网段或遇到作业启动...实时计算Flink版默认不具备访问公网的能力,但通过在VPC中创建NAT网关,并创建SNAT条目,将Flink所在的交换机绑定至弹性公网IP(EIP),即可通过EIP访问公网,详情请参见 Flink全托管如何访问公网?