分场景排错指引
本文为您介绍实时计算Flink版分场景排错指引方面的常见问题，包括权限、运维和数据异常等问题。权限 不小心删除了角色或者变更了授权策略，导致Flink全托管服务不可用怎么办？运维 JobManager没有运行起来，如何快速定位问题？Python作业，...
实时数仓Hologres
从VVR 3.0.0版本开始，支持实时消费Hologres数据，详情请参见 实时计算Flink版实时消费Hologres。从VVR 6.0.3版本开始，Hologres源表在批模式读取时支持filter下推，详见源表独有参数 enable_filter_push_down。Hologres CDC模式暂不支持...
管理Hologres Catalog
实时计算Flink版仅支持读写Hologres内表，因此Hologres实例必须是独占实例，不支持 Hologres共享集群实例。创建Hologres Catalog 支持UI与SQL命令两种方式配置Hologres Catalog，推荐使用UI方式配置Hologres Catalog。UI方式（推荐）进入...
日志实时入仓快速入门
已创建Flink工作空间，详情请参见 开通实时计算Flink版。上下游存储 已创建消息队列Kafka实例，详情请参见 步骤三：创建资源。已创建Hologres实例，详情请参见 购买Hologres。说明 消息队列Kafka和Hologres需要与Flink全托管工作空间在相同...
配置自动调优
实时计算Flink版提供了自动调优功能，您可以根据以下信息，选择合适的调优模式。调优模式 适用场景 使用优势 相关文档 智能调优 某作业使用资源30 CU，上线平稳运行一段后，发现在Source无延迟、无反压的情况下，作业的CPU和内存使用率有时...
SQL常见问题
本文为您介绍实时计算Flink版的SQL常见问题，包括作业常见问题、开发报错、运维报错。为什么使用POJO类作为UDTF返回类型时字段会出现“错位”?为什么数据在LocalGroupAggregate节点中长时间卡住，无输出？运行拓扑图中显示的Low Watermark...
数据总线DataHub
} 常见问题 实时计算Flink版支持的连接器列表，请参见 支持的连接器。您可以使用Kafka连接器来访问DataHub，Kafka连接器使用详情，请参见 消息队列Kafka。分裂或者缩容DataHub Topic后导致Flink作业失败，如何恢复？可以删除正在消费的...
维表JOIN语句
对于每条流式数据，可以关联一个外部维表数据源，为实时计算Flink版提供数据关联查询。背景信息 大部分连接器的维表Join都可以使用Cache策略，不同连接器对Cache策略的支持情况稍有不同，请查看对应的连接器文档确定具体的支持情况。通用的...
消息队列Kafka
实时计算Flink与Kafka集群处于同一VPC内，且 云消息队列 Kafka 版 已对Flink开放白名单。可参见 配置白名单 来配置 云消息队列 Kafka 版 的白名单。说明 由于云存储的 云消息队列 Kafka 版 不支持幂等和事务写入，您将无法使用Kafka结果表...
上下游存储
本文为您介绍实时计算Flink版上下游存储方面的常见问题。Kafka源表 Flink如何获取JSON数据？Flink和Kafka网络连通，但Flink无法消费或者写入数据？为什么Kafka源表数据基于Event Time的窗口后，不能输出数据？Flink中的Commit Offset有什么...
支持的函数
本文为您介绍实时计算Flink版支持的所有内置函数。支持的函数 Flink全托管VVR 3.0.0版本在Flink V1.12的基础上增加了部分内置函数，详情请参见 标量函数、表值函数 和 聚合函数。下表展示的是Flink全托管在Flink V1.15版本的基础上支持的...
性能白皮书（Nexmark性能测试）
本文为您介绍如何使用Nexmark测试实时计算Flink版性能。性能表现 实时计算Flink版1 CU计算资源配置下，Nexmark 19个Queries语句的性能表现最小为5000RPS，最大55000RPS。简单业务（例如，单流过滤、字符串变换等操作）1 CU每秒可以处理...
Table/SQL JAR迁移至JAR
本文为您介绍如何将自建Flink集群上的Table/SQL JAR作业，迁移至实时计算Flink全托管的JAR作业。背景信息 本文将使用开源JDBC Connector写阿里云RDS的方式进行作业迁移，因此需要额外配置附加依赖文件选项。实时计算Flink全托管版集群内置...
迁移方案
本文为您介绍将自建开源Flink集群的流式作业（包含Table API、SQL和Datastream）迁移至阿里云实时计算Flink全托管版的迁移优势、迁移方案和相关文档。迁移优势 Flink全托管产品按CU售卖，根据业务需要按需购买，可以降低成本。另外提供提交...
实时计算Blink产品公告（已停止新购）
2019年5月29日-北京、上海地区实时计算Flink版共享模式停止售卖 自2019年5月29日起，停止售卖北京和上海地区共享模式的实时计算Flink版。2019年3月14日-共享模式默认版本升级为2.2.7 自2019年3月14日起，实时计算Flink版共享模式默认版本...
搭建基础环境
鼠标悬浮在 开源Flink迁移实时计算Flink全托管版 上，单击 基于方案新建。修改EMR-Flink集群密码。说明 本文使用EMR-Flink作为用户自建Flink集群来运行迁移前的作业，以此来对比验证自建Flink迁移后的作业运行结果。如果您已经有了自建...
Table/SQL JAR迁移至SQL
实时计算Flink全托管版集群内置了商业化的RDS Connector，您也可以替换为开源JDBC Connector。商业化的RDS Connector详情请参见 云数据库RDS MySQL结果表。本文介绍的迁移场景如下图所示。前提条件 本地已安装Maven 3.x。已在 Maven资源...
资源抵扣包
免费试用：实时计算Flink版新用户可以在 免费试用 页面，单击实时计算Flink版卡片上的 立即试用，根据页面提示领取5000 CUH资源抵扣包，开通Flink进行试用。试用完毕后请及时释放不需要的资源，避免产生额外费用。59元优惠：在 产品规格 ...
生命周期策略
为了更好地服务于用户，实时计算Flink版构建了生命周期管理体系，明确了产品和引擎版本生命周期策略。通过引入新产品和新版本，希望能够更好地满足您丰富的实时业务需求并高效稳定地保证业务运行结果。涉及范围 本策略涉及的范围包括阿里云...
管理域名
在实时计算控制台上，您可以管理上下游服务的域名。本文为您介绍如何在实时计算控制台上新增域名、修改域名和删除域名。使用限制 填写域名时，不支持填写大写字符。单个工作空间最多只能设置50个合法域名。当工作空间状态为运行中时，才...
迁移操作
本文为您介绍如何将Bayes上的作业迁移到 实时计算开发控制台，包括迁移步骤、使用限制和注意事项。前提条件 您已具备Bayes对应项目的Owner权限和目标Flink项目空间的Owner权限，Flink权限管理详情，请参见 权限管理。Flink工作空间和Bayes...
2023-04-13版本
作为预览型功能，自本版本起，阿里云实时计算Flink提供了Apache Paimon(incubating)，这是一项流式数据湖存储技术，提供高吞吐、低延迟的数据摄入、流式订阅和实时查询能力。平台侧将进行多项常用功能的改版，更改了产品控制台的一级目录和...
云原生数据仓库AnalyticDB PostgreSQL版（ADB PG）
本文为您介绍如何使用AnalyticDB PostgreSQL连接器。背景信息 云原生数据仓库AnalyticDB PostgreSQL版 是一种大规模并行处理...相关文档 通过Flink读写云原生数据仓库AnalyticDB PostgreSQL版（ADB PG）数据 通过实时计算Flink集成向量数据
功能发布记录
Flink产品重大变更或者活动公告信息请在 实时计算控制台 或者 实时计算Flink版产品公告 上进行查看。企业级状态后端存储GeminiStateBackend，以及其与RocksDBStateBackend的性能对比情况，请参见 企业级状态后端存储介绍。
2022-05-16版本
无 新增产品公告能力 实时计算Flink版在作业控制台上新增了产品公告的能力，您可以直接接收到包括产品升级在内的各种用户须知信息。这样可以有效避免通过短信、站内信、钉钉群等途径无法完全触达终端用户的问题。无 UI优化 支持全新阿里云...
管理作业版本
登录 实时计算控制台。在 Flink全托管 页签，单击目标工作空间 操作 列下的 控制台。在左侧导航栏，单击 SQL开发。双击目标作业名称。在页面右侧，单击 版本信息。在目标版本号对应的 操作 列，单击 对比。在左侧 选择版本 中选择目标对比...
通过实时计算Flink集成向量数据
若实时计算Flink端使用开源自建版，请确保 flink-adbpg-connector 已安装在$FLINK_HOME/lib 目录下。若使用 公有云托管版，则无任何操作。AnalyticDB PostgreSQL版 数据库已安装向量检索插件FastANN。您可以在psql客户端通过 \dx fastann ...
动态CEP中规则的JSON格式定义
基于以上考虑，阿里云实时计算Flink定义了一套基于JSON的规范来描述CEP中的规则，进而方便规则的存储与修改，该规范中各个字段的含义如下。节点（Node）定义 一个节点（Node）即一个完整的模式（Pattern），它包含如下属性。字段名 描述 ...
MongoDB（公测中）
实时计算Flink VVR 8.0.6及以上版本支持通过 CREATE TABLE AS（CTAS）语句 或 CREATE DATABASE AS（CDAS）语句 将MongoDB的数据和Schema变更同步到下游表。使用时需开启MongoDB数据库的前像后像（Pre-and Post-images）记录功能，详情请...
系统检查点或作业快照
本文为您介绍实时计算Flink版系统检查点或作业快照相关的常见问题。两次Checkpoint最小间隔时间计算方式 VVR 8.x和VVR 6.x使用的GeminiStateBackend有什么区别？报错：org.apache.flink.util.SerializedThrowable 报错：You are using the ...
Postgres CDC（公测中）
相关文档 实时计算Flink版支持的连接器列表，请参见 支持的连接器。将数据写入PolarDB PostgreSQL版（Oracle语法兼容1.0）结果表，请参见 PolarDB PostgreSQL版（Oracle语法兼容1.0）。如果您需要读写RDS MySQL、PolarDB for MySQL或者自建...
管理DLF Catalog
配置DLF Catalog后，您可以在Flink全托管控制台直接访问DLF实例中的表，无需再手动注册DLF表，提高作业开发的效率且保证数据的正确性。本文为您介绍如何在Flink全托管模式下创建、查看、使用及删除DLF Catalog。背景信息 阿里云数据湖构建...
使用Kafka连接器进行Kerberos认证
步骤二：上传Kerberos配置文件 登录 实时计算控制台。单击目标工作空间 操作 列下的 控制台。在左侧导航栏，单击 资源管理。单击 上传资源。选择您要上传的 krb5.conf 和 keytab 文件。后续作业配置时，如果上传后的文件名为 krb5.conf 和 ...
2022-12-26版本
本文为您介绍2022年12月26日发布的Flink全托管版本的重大功能变更和主要缺陷修复。概述 2022年12月26日正式对外发布Flink全托管的新版本。本次发布的是基于Apache Flink 1.15.2的VVR 6.0.4版本。该版本新增了Hologres connector、MySQL CDC...
管理Hive Catalog
配置Hive Catalog后，您可以在Flink开发控制台直接读取Hive元数据，无需再手动注册Hive表，提高作业开发的效率且保证数据的正确性。本文为您介绍如何配置Hive元数据、创建和使用Hive Catalog等。背景信息 您可以将Hive Catalog配置文件和...
Blackhole
类别 详情 支持类型 结果表 运行模式 批模式和流模式 数据格式 暂不适用 特有监控指标 暂无 API种类 SQL 是否支持更新或删除结果表数据 是 使用限制 仅Flink计算引擎VVR 2.0.0及以上版本支持Blackhole连接器。语法结构 CREATE TABLE ...
RenewInstance-续费flink全托管工作空间
接口说明 请确保在使用该接口前，已充分了解 flink 全托管产品的收费方式和 价格 调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂...
迁移方案
本文为您介绍阿里云实时计算Blink独享或共享集群（Blink计算引擎和Bayes开发平台）的业务迁移至实时计算Flink全托管（Flink计算引擎VVR和开发平台VVP）时的迁移限制、迁移方案和常见问题。迁移限制 由于Blink作业的State和Flink的State无法...
使用限制 仅Flink计算引擎VVR 2.1.5及以上版本支持Print连接器。语法结构 CREATE TABLE print_table(a INT,b varchar)WITH('connector'='print','logger'='true');您也可以基于现有的表模式使用 LIKE 子句来创建，代码示例如下。CREATE ...
概述
例如，需要统计在过去的1分钟内有多少用户单击了某个网页，可以通过定义一个窗口来收集最近1分钟内的数据，并对这个窗口内的数据进行实时计算。Flink SQL支持的窗口聚合主要是两种：Window聚合和Over聚合。本文档主要为您介绍Window聚合。...
- 产品推荐
- 这些文档可能帮助您