AI计算资源概述
Flink全托管资源 阿里云实时计算Flink版是阿里云基于Apache Flink构建的一站式实时大数据分析平台，提供端到端亚秒级实时数据分析能力，有关Flink全托管资源的详细信息请参见 什么是阿里云实时计算Flink版。您可以在 资源配额 页面购买...
2023-04-13版本
作为预览型功能，自本版本起，阿里云实时计算Flink提供了Apache Paimon(incubating)，这是一项流式数据湖存储技术，提供高吞吐、低延迟的数据摄入、流式订阅和实时查询能力。平台侧将进行多项常用功能的改版，更改了产品控制台的一级目录和...
复杂事件处理（CEP）语句
本文为您介绍实时计算Flink全托管的复杂事件处理（CEP）语句的详情。背景信息 相较于Apache Flink的CEP SQL，实时计算Flink版在其基础上进行了...阿里云实时计算Flink版扩展了SQL标准中的AFTER MATCH语句，可通过 AFTER MATCH NO SKIP 语句来...
Paimon外部表
阿里云实时计算Flink版、开源大数据平台E-MapReduce 的常见计算引擎（如Spark、Hive或Trino）都与Paimon有完善的集成。借助Apache Paimon，您可以快速构建自己的数据湖存储服务在存储服务OSS上，并接入MaxCompute实现数据湖的分析。关于...
JAR作业开发
Flink源代码中只有明确标注了@Public或者@PublicEvolving的才是公开供用户调用的方法，阿里云实时计算Flink版只对这些方法的兼容性做出产品保证。如果是Flink服务内置的Connector支持的datastream api，建议使用其内置的依赖。作业开发 ...
新建Flink Vvp SQL类型的公共节点
Flink Vvp SQL节点是流式节点，运行于Flink云计算资源之上，支持对ApsaraDB for RDS、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL、AnalyticDB_PostgreSQL和DataHub Service等类型的数据进行处理。本文介绍如何新建Flink ...
计算设置概述
设置Dataphin实例的计算引擎为TDH或ArgoDB 星环TDH 6.x Transwarp Data Hub（TDH)是星环大数据平台 实时计算引擎 阿里云实时计算Flink 阿里云新一代计算引擎Flink，支持实时计算，具有高吞吐低延迟等优势，同时也支持离线计算与调度。...
Flink动态CEP快速入门
实时计算Flink版支持通过DataStream作业的方式运行支持规则动态更新的Flink CEP作业。本文结合实时营销中的反作弊场景，为您介绍如何基于Flink全托管快速构建一个动态加载最新规则来处理上游Kafka数据的Flink CEP作业。背景信息 在电商平台...
基于Flink创建MaxCompute Paimon外表
阿里云实时计算Flink版、开源大数据平台E-MapReduce 的常见计算引擎（如Spark、Hive或Trino）都与Paimon有完善的集成。借助Apache Paimon，您可以快速构建自己的数据湖存储服务在存储服务OSS上，并接入MaxCompute实现数据湖的分析。关于...
新建Flink SQL类型的公共节点
Flink SQL节点是流式节点，运行于Flink云计算资源之上，支持对ApsaraDB for RDS、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL和DataHub Service等类型的数据进行处理。本文介绍如何新建Flink SQL类型的公共节点。背景信息...
系统检查点或作业快照
本文为您介绍实时计算Flink版系统检查点或作业快照相关的常见问题。两次Checkpoint最小间隔时间计算方式 VVR 8.x和VVR 6.x使用的GeminiStateBackend有什么区别？报错：org.apache.flink.util.SerializedThrowable 报错：You are using the ...
新建Flink Vvr SQL类型的公共节点
Flink Vvr SQL节点是流式节点，运行于Flink云计算资源之上，支持对RDS MySQL、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL和DataHub等类型的数据进行处理。本文介绍如何新建Flink Vvr SQL类型的公共节点。背景信息 Flink ...
基于Paimon的数据库实时入湖快速入门
目前阿里云实时计算Flink版，以及开源大数据平台E-MapReduce上常见的计算引擎（例如Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者OSS上构建自己的数据湖存储服务，并接入计算引擎实现数据...
MySQL整库同步Kafka
为了缓解对上游MySQL数据库的压力，阿里云Flink实时计算已提供MySQL整库同步到Kafka的能力，通过引入Kafka作为中间层，并使用CDAS整库同步或CTAS整表同步到Kafka来解决。具体操作是使用CDAS或CTAS语法，在一个作业里将上游的MySQL的数据...
消息队列Kafka
实时计算Flink与Kafka集群处于同一VPC内，且 云消息队列 Kafka 版 已对Flink开放白名单。可参见 配置白名单 来配置 云消息队列 Kafka 版 的白名单。说明 由于云存储的 云消息队列 Kafka 版 不支持幂等和事务写入，您将无法使用Kafka结果表...
SLB替换方案上线
为了给您提供更好的体验和节约成本，2023年9月8日起实时计算Flink版SLB替换方案分地域逐步上线，预计9月11日全地域完成替换。该替换方案旨在提供更高效的网络连接，以取代原先的负载均衡SLB服务。您新购实时计算Flink版时，无需再单独开通...
Terraform
实时计算Flink版支持接入Terraform，您可以基于Terraform平台使用和管理Flink资源。背景信息 基本功能 Terraform是一种基础设施即代码（Infrastructure as Code）工具，可以通过编写简洁的代码来定义和配置云端基础设施，而不必手动操作和...
数据正确性
检查源表数据是否进入实时计算Flink版 排错指引 这种情况下没有Failover，但数据延时会很大，请查看数据曲线页面numRecordsIn_VVP，检查各Source输入是否有数据。解决方案 检查源表，保证上游有数据进入实时计算Flink版。检查数据是否被...
同城高可用
在购买实时计算Flink版时，您需要选中 是否启用跨可用区，并填写 计算资源配额，选择对应的主备可用区和虚拟交换机，详情请参见 开通实时计算Flink版。在跨可用区项目空间创建并运行作业，详情请参见 进入目标项目空间。方式2：已有工作...
2023-12-07版本
管理资源队列 任务编排（公测）通过可视化的操作界面轻松地编排批作业运行的顺序，调度批作业任务的运行，高效构建数据仓库，在实时计算Flink版平台实现开发、调度、部署和运维一体化。任务编排（公测）查询脚本 可以在查询脚本中通过DDL、...
管理自定义Catalog
说明 支持使用其他服务的HTTP路径，需要该服务和实时计算Flink版在同一VPC下或者先打通实时计算Flink版和目标服务的公网网络链接后使用公网地址。详情请参见 Flink全托管集群如何访问公网？单击 下一步。确认Properties信息后，单击 确定。...
权限管理
权限概述 实时计算Flink版支持阿里云账号、RAM用户、RAM角色、资源目录成员方式登录并访问实时计算控制台，以及进行作业开发和运维。无论您采用何种方式登录（阿里云账号访问自己所拥有的资源除外），均需要具有相应的权限才能正常进行操作...
修改虚拟交换机
如果您重新规划了IPv4网段或遇到作业启动...实时计算Flink版默认不具备访问公网的能力，但通过在VPC中创建NAT网关，并创建SNAT条目，将Flink所在的交换机绑定至弹性公网IP（EIP），即可通过EIP访问公网，详情请参见 Flink全托管如何访问公网？
概述
实时计算Flink版支持在Flink SQL作业中使用Python自定义函数，本文为您介绍Flink Python自定义函数的分类、Python依赖使用方法和能调优方式。自定义函数分类 分类 描述 UDSF（User Defined Scalar Function）用户自定义标量值函数，将0个、...
监控服务ARMS Prometheus计费模式变更
自2023年12月8日起，实时计算Flink版对接ARMS Prometheus新版计费模式，可观测监控Prometheus版专家版的计费模式变更为按写入的可观测数据量收费。变更优势 相比旧版计费模式，费用预估可节省55%以上。新版计费模式下费用节省情况请参见 ...
Flink JAR作业快速入门
本文带您快速体验Flink JAR流作业和批作业的创建、部署和启动，以了解实时计算Flink版JAR作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 权限管理。已创建Flink工作空间...
按量付费
按量付费是一种后付费的计费模式，无需您提前购买大量资源，系统会根据您工作空间实际的资源使用量进行结算。本文将为您介绍按量付费的计费规则、不同地域的单价以及停止计费的相关信息。...开通工作空间操作，请参见 开通实时计算Flink版。
废弃或恢复监控指标
如果您不需要实时计算Flink版监控告警功能或某些监控指标，您可以关闭对应工作空间的监控告警或废弃具体指标，以节省费用，后续有需要时可以重新恢复指标采集。本文为您介绍如何关闭监控告警、废弃监控指标，以及对应的恢复操作。注意事项 ...
任务编排（公测）
任务编排是一个全托管的工作流调度服务，通过可视化的操作界面轻松地编排批作业运行的顺序，构建数据仓库，在实时计算Flink版平台实现开发、调度、部署和运维一体化。重要 任务编排目前为公测功能，公测阶段不保障服务等级协议SLA。如果您...
算子探查（公测）
实时计算Flink版提供了算子探查功能，可以在不修改作业的情况下，探查选中算子的输入输出情况，帮助您更好地排查数据正确性问题。使用限制 仅支持运行中的SQL作业。仅支持实时计算引擎VVR 8.0.4及以上版本作业。不支持CTAS、CDAS作业。不...
使用阿里云Flink（流式数据传输）
实时计算Flink版内置插件支持通过批量数据通道写入MaxCompute，受到批量数据通道并发数及存储文件数影响，内置版本插件会有性能瓶颈。MaxCompute提供了使用流式数据通道的Flink插件，支持使用Flink在高并发、高QPS场景下写入MaxCompute。...
网络架构升级
为了提高服务质量并满足不断增长的业务需求，我们将对实时计算Flink版网络架构进行重要升级。此次升级旨在优化IP资源的使用效率，加强网络安全隔离措施，并为支持同城高可用CU类型奠定基础，为您带来更加稳健和高效的数据处理体验。您可以...
2024-04-01版本
本文为您介绍2024年4月1日发布的实时计算Flink版的重大功能变更和主要缺陷修复。重要 本次升级计划在全网逐步进行灰度，预计3-4周完成全部升级，具体计划请关注 实时计算控制台 页面右侧的最新公告。如果您不能使用相关新功能，说明您的...
Flink Python作业快速入门
本文带您快速体验Flink Python流作业和批作业的创建、部署和启动，以了解实时计算Flink版Python作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 权限管理。已创建Flink...
管理自定义连接器
注意事项 您需要根据社区定义的连接器标准开发您自定义的连接器，才能正确地被实时计算Flink版识别并使用，因此您需要明确连接器Meta文件和声明Factory类。自定义连接器开发详情请参见 User-defined Sources&Sinks。同种类型的连接器仅可以...
API概览
本产品（实时计算 Flink版/2022-07-18）的OpenAPI采用 ROA 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求...
Python作业开发
本文为您介绍Flink Python API作业开发的背景信息、使用限制、开发方法、调试方法和连接器使用等。背景信息 Flink Python作业需要您在本地完成...实时计算Flink版还支持运行SQL和DataStream作业，开发方法请参见 SQL作业开发 和 JAR作业开发。
Flink SQL作业快速入门
已创建Flink工作空间，详情请参见 开通实时计算Flink版。步骤一：创建作业 进入SQL作业创建页面。登录 实时计算控制台。单击目标工作空间 操作 列下的 控制台。在左侧导航栏，单击 SQL开发。单击 新建。单击 空白的流作业草稿。Flink也为您...
按登录方式授权
实时计算Flink版支持阿里云账号、阿里云RAM用户、阿里云RAM角色、资源目录成员方式登录并访问实时计算控制台，以及进行作业开发和运维。不同登录方式下需要被授权的主体（身份或账号）可能不同，本文通过示例为您介绍不同登录方式下，访问...
云监控与ARMS告警服务功能对比
实时计算Flink版支持选择云监控（免费监控服务）或ARMS可观测监控Prometheus版监控服务为您提供作业监控告警功能。本文介绍云监控和ARMS在Flink监控告警上的功能差异，您可以根据实际需要进行选择。功能对比 对比项 功能 ARMS 云监控 服务...
- 产品推荐
- 这些文档可能帮助您