Canal
支持Canal格式的连接器有 消息队列Kafka 和 对象存储OSS。Flink支持将Canal的JSON消息解析为INSERT、UPDATE或DELETE消息到Flink SQL系统中。在很多情况下，利用Canal这个特性非常的有用，例如：将增量数据从数据库同步到其他系统 日志审计 ...
权限管理
权限概述 实时计算Flink版支持阿里云账号、RAM用户、RAM角色、资源目录成员方式登录并访问实时计算控制台，以及进行作业开发和运维。无论您采用何种方式登录（阿里云账号访问自己所拥有的资源除外），均需要具有相应的权限才能正常进行操作...
Debezium
支持Debezium格式的连接器有 消息队列Kafka 和 对象存储OSS。Flink支持将Debezium JSON和Avro消息解析为INSERT、UPDATE或DELETE消息到Flink SQL系统中。在很多情况下，利用这个特性非常的有用，例如：将增量数据从数据库同步到其他系统 ...
Iceberg
使用限制 仅Flink计算引擎VVR 4.0.8及以上版本支持Iceberg连接器。Iceberg连接器仅支持Apache Iceberg v1表格式，详情请参见 Iceberg Table Spec。语法结构 CREATE TABLE iceberg_table(id BIGINT,data STRING)WITH('connector'='iceberg',...
授权信息
本文为您介绍 实时计算 Flink版（RealtimeCompute）为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。实时计算 Flink版（RealtimeCompute）的RAM代码（RamCode）为 stream，支持的授权粒度为 RESOURCE。权限策略...
Avro
支持Avro格式的连接器包括 消息队列Kafka、Upsert Kafka 和 对象存储OSS。使用示例 利用Kafka以及Avro格式构建表的示例如下。CREATE TABLE user_behavior(user_id BIGINT,item_id BIGINT,category_id BIGINT,behavior STRING,ts TIMESTAMP...
上下游存储
本文为您介绍实时计算Flink版上下游存储方面的常见问题。Kafka源表 Flink如何获取JSON数据？Flink和Kafka网络连通，但Flink无法消费或者写入数据？为什么Kafka源表数据基于Event Time的窗口后，不能输出数据？Flink中的Commit Offset有什么...
SLB替换方案上线
为了给您提供更好的体验和节约成本，2023年9月8日起实时计算Flink版SLB替换方案分地域逐步上线，预计9月11日全地域完成替换。该替换方案旨在提供更高效的网络连接，以取代原先的负载均衡SLB服务。您新购实时计算Flink版时，无需再单独开通...
授权信息
本文为您介绍 实时计算 Flink版（RealtimeCompute）为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。实时计算 Flink版（RealtimeCompute）的RAM代码（RamCode）为 stream，支持的授权粒度为 RESOURCE。权限策略...
应用场景
本文将以部门场景和技术领域场景为例，为您介绍实时计算Flink版的大数据是实时化场景。说明 更多场景案例请参见 阿里云实时计算Flink版产品案例和解决方案汇总。背景信息 作为流式计算引擎，Flink可以广泛应用于实时数据处理领域，例如ECS...
管理Hive Catalog
在 使用内置连接器连接 页签，选择连接器后，单击 下一步。填写建表语句并配置相关参数信息。代码示例如下。CREATE TABLE `${catalog_name}`.`${db_name}`.`${table_name}`(id INT,name STRING)WITH('connector'='hive');单击 确定。SQL...
MySQL
维表和结果表 Flink计算引擎VVR 4.0.11及以上版本支持MySQL连接器。语义上可以保证At-Least-Once，在结果表有主键的情况下，幂等可以保证数据的正确性。注意事项 CDC源表 每个MySQL CDC数据源需显式配置不同的Server ID。Server ID作用 每...
Elasticsearch
本文为您介绍如何使用Elasticsearch连接器。背景信息 阿里云Elasticsearch阿里云Elasticsearch 兼容开源Elasticsearch的功能，以及Security、Machine Learning、Graph、APM等商业功能，致力于数据分析、数据搜索等场景服务。为您提供企业级...
ClickHouse
仅Flink计算引擎VVR 3.0.2及以上版本支持ClickHouse连接器。仅Flink计算引擎VVR 3.0.3，VVR 4.0.7及以上版本支持ignoreDelete选项。仅Flink计算引擎VVR 4.0.10及以上版本支持ClickHouse的Nested类型。仅Flink计算引擎VVR 4.0.11及以上版本...
使用UDAF实现数据排序和聚合
本文提供了一个自定义聚合函数（UDAF），实现将多行数据合并为一行并按照指定列进行排序，并以居民用电户电网终端数据为例，介绍如何在实时计算控制台使用该函数进行数据聚合和排序。示例数据 居民用电户电网终端数据表electric_info，包括...
云数据库HBase
本文为您介绍如何使用云数据库HBase连接器。背景信息 云数据库HBase 是低成本、高扩展、云智能的大数据NoSQL，兼容标准HBase访问协议，提供低成本存储、高扩展吞吐、智能数据处理等核心优势，是为淘宝推荐、花呗风控、广告投放、监控大屏、...
地域及可用区
本文为您介绍阿里云地域和可用区的概念、选择指导以及阿里云实时计算Flink版支持的地域及可用区列表。背景信息 地域（Region）：指数据中心所在的地理区域，通常按照数据中心所在的城市划分。例如，华北2（北京）地域表示数据中心所在的...
Hudi
全托管Hudi优势 相比开源社区Hudi，全托管Flink平台集成Hudi具有的功能优势详情如下所示：平台侧与Flink全托管集成，免运维 Flink全托管内置Hudi连接器，降低运维复杂度，提供SLA保障。完善的数据连通性 对接多个阿里云大数据计算分析引擎...
Raw
Raw格式连接器是内置的。支持Raw格式的连接器包括 消息队列Kafka、Upsert Kafka 和 对象存储OSS。使用方法 例如，在Kafka中具有以下原始格式的日志数据，并希望使用Flink SQL读取和分析此类数据。47.xx.xx.179-[28/Feb/2019:13:17:10+0000]...
云原生多模数据库Lindorm
本文为您介绍如何使用云原生多模数据库Lindorm连接器。背景信息 Lindorm是面向物联网、互联网、车联网等设计和优化的云原生多模超融合数据库，是日志、监控、账单、广告、社交、出行、风控等场景首选数据库，也是为阿里巴巴核心业务提供...
云原生内存数据库Tair
使用限制 仅Flink计算引擎VVR 6.0.6及以上版本支持云原生内存数据库Tair连接器。云原生内存数据库Tair连接器不支持配置多个host。语法结构 云原生内存数据库Tair在兼容Redis数据结构STRING、LIST、SET、HASHMAP和SORTEDSET的基础上，支持...
性能白皮书（Nexmark性能测试）
本文为您介绍如何使用Nexmark测试实时计算Flink版性能。性能表现 实时计算Flink版1 CU计算资源配置下，Nexmark 19个Queries语句的性能表现最小为5000RPS，最大55000RPS。简单业务（例如，单流过滤、字符串变换等操作）1 CU每秒可以处理...
CDC问题
支持的，实时计算Flink版提供了CTAS或CDAS语法来支持整库同步，详情请参见 CREATE TABLE AS（CTAS）语句 或 CREATE DATABASE AS（CDAS）语句。说明 因为RDS MySQL 5.6该类型实例没有向日志文件里写入数据，导致下游同步工具无法读取增量的...
流式数据湖仓Paimon
使用限制 仅Flink计算引擎VVR 6.0.6及以上版本支持Paimon连接器。语法结构 如果您在 Paimon Catalog 中创建Paimon表，则无需指定 connector 参数，此时创建Paimon表的语法结构如下。CREATE TABLE `<your-paimon-catalog>`.`<your-db>`....
查看Flink审计事件
本文介绍如何通过操作审计（ActionTrail）产品查看Flink审计事件。背景信息 操作审计（ActionTrail）可以帮助...DeleteDeployment"} 实时计算Flink版事件列表 实时计算Flink版支持在操作审计中查询的事件请参见 实时计算Flink版的审计事件。
管理MongoDB Catalog（公测中）
Flink SQL类型 Boolean BOOLEAN Int32 INT Int64 BIGINT Binary BYTES Double DOUBLE Decimal128 DECIMAL String STRING ObjectId STRING DateTime TIMESTAMP_LTZ(3)Timestamp TIMESTAMP_LTZ(0)Array STRING Document STRING 相关文档 ...
查看账单
您可以在阿里云用户中心查看实时计算Flink版的费用情况。操作步骤 登录 阿里云控制台。在顶部菜单栏单击 费用，进入用户中心。在左侧导航栏，选择 账单管理>账单详情。根据需要查看消费情况或导出账单。您可以 在 明细账单 页签，消费类型 ...
CSV
支持CSV格式的连接器包括：消息队列Kafka、Upsert Kafka、消息队列RocketMQ、StarRocks 和 对象存储OSS。使用示例 利用Kafka以及CSV格式构建表的示例如下。CREATE TABLE user_behavior(user_id BIGINT,item_id BIGINT,category_id BIGINT,...
数据正确性
检查源表数据是否进入实时计算Flink版 排错指引 这种情况下没有Failover，但数据延时会很大，请查看数据曲线页面numRecordsIn_VVP，检查各Source输入是否有数据。解决方案 检查源表，保证上游有数据进入实时计算Flink版。检查数据是否被...
监控服务ARMS Prometheus计费模式变更
自2023年12月8日起，实时计算Flink版对接ARMS Prometheus新版计费模式，可观测监控Prometheus版专家版的计费模式变更为按写入的可观测数据量收费。变更优势 相比旧版计费模式，费用预估可节省55%以上。新版计费模式下费用节省情况请参见 ...
2022-11-09版本
Apache Flink社区于Flink 1.16.0和1.15.3版本进行了修复，阿里云实时计算Flink版已经在VVR-6.0.2及以上版本修复。但是鉴于此缺陷会导致作业运行可用性存在潜在的重大风险，我们为云上客户专属进行了低版本的修复，并将此Patch放入本次发布...
DDL数据定义语句
由于文档优化调整，原DDL内容已移至连接器目录下。最新的文档内容，请参见 支持的连接器。如果您有任何关于文档的反馈，可在对应文档页面选中相关文字后，单击 文档反馈，将建议反馈给我们。
资源抵扣包
免费试用：实时计算Flink版新用户可以在 免费试用 页面，单击实时计算Flink版卡片上的 立即试用，根据页面提示领取5000 CUH资源抵扣包，开通Flink进行试用。试用完毕后请及时释放不需要的资源，避免产生额外费用。59元优惠：在 产品规格 ...
修改虚拟交换机
如果您重新规划了IPv4网段或遇到作业启动...实时计算Flink版默认不具备访问公网的能力，但通过在VPC中创建NAT网关，并创建SNAT条目，将Flink所在的交换机绑定至弹性公网IP（EIP），即可通过EIP访问公网，详情请参见 Flink全托管如何访问公网？
概述
实时计算Flink版支持在Flink SQL作业中使用Python自定义函数，本文为您介绍Flink Python自定义函数的分类、Python依赖使用方法和能调优方式。自定义函数分类 分类 描述 UDSF（User Defined Scalar Function）用户自定义标量值函数，将0个、...
生命周期策略
为了更好地服务于用户，实时计算Flink版构建了生命周期管理体系，明确了产品和引擎版本生命周期策略。通过引入新产品和新版本，希望能够更好地满足您丰富的实时业务需求并高效稳定地保证业务运行结果。涉及范围 本策略涉及的范围包括阿里云...
查看与修改作业运行状态
前提条件 其他阿里云账号或RAM用户共同使用实时计算Flink版产品时，需要为阿里云账号或RAM用户授权，以进行查看与修改作业运行状态等相关操作，详情请参见 作业操作账号授权。查看作业运行状态 登录 实时计算控制台。在 Flink全托管 页签，...
引擎版本介绍
阿里云Flink采用的是基于Apache Flink增强的企业级引擎Ververica Runtime（简称VVR）。本文为您详细介绍引擎版本号及含义、引擎服务承诺与建议。...实时计算Flink版的产品形态、发布状态及选型建议，详情请参见 产品形态。
任务编排（公测）
任务编排是一个全托管的工作流调度服务，通过可视化的操作界面轻松地编排批作业运行的顺序，构建数据仓库，在实时计算Flink版平台实现开发、调度、部署和运维一体化。重要 任务编排目前为公测功能，公测阶段不保障服务等级协议SLA。如果您...
废弃或恢复监控指标
如果您不需要实时计算Flink版监控告警功能或某些监控指标，您可以关闭对应工作空间的监控告警或废弃具体指标，以节省费用，后续有需要时可以重新恢复指标采集。本文为您介绍如何关闭监控告警、废弃监控指标，以及对应的恢复操作。注意事项 ...
- 产品推荐
- 这些文档可能帮助您