实时计算Flink版实时消费Hologres
本文为您介绍实时计算Flink版消费Hologres的详情。使用限制 Hologres 0.10及以下版本，已存在的表无法修改表属性开启Binlog，需要重新建表。Hologres V1.1及以上版本，可以根据业务需要选择开启或关闭Binlog能力，同时支持配置TTL满足不同...
实时数仓Hologres
从VVR 3.0.0版本开始，支持实时消费Hologres数据，详情请参见 实时计算Flink版实时消费Hologres。从VVR 6.0.3版本开始，Hologres源表在批模式读取时支持filter下推，详见源表独有参数 enable_filter_push_down。Hologres CDC模式暂不支持...
作业引擎版本升级
本文将为您介绍如何升级实时计算Fllink版作业的引擎版本。注意事项 实时计算Fllink版引擎发布前，会进行丰富的兼容性测试，原则上同一大版本下的小版本间升级是兼容的，大版本间升级不保证兼容。引擎版本详情请参见 引擎版本号及其含义。...
配置监控告警
实时计算Flink版默认使用云监控（免费监控服务）或ARMS提供监控报警服务，配置作业指标或事件监控告警，便于您及时发现并处理异常。本文为您介绍使用不同监控服务时如何配置监控告警。使用限制 部署时提交至Session集群的Flink作业不支持...
Flink动态CEP快速入门
实时计算Flink版支持通过DataStream作业的方式运行支持规则动态更新的Flink CEP作业。本文结合实时营销中的反作弊场景，为您介绍如何基于Flink全托管快速构建一个动态加载最新规则来处理上游Kafka数据的Flink CEP作业。背景信息 在电商平台...
维表JOIN语句
对于每条流式数据，可以关联一个外部维表数据源，为实时计算Flink版提供数据关联查询。背景信息 大部分连接器的维表Join都可以使用Cache策略，不同连接器对Cache策略的支持情况稍有不同，请查看对应的连接器文档确定具体的支持情况。通用的...
数据总线DataHub
} 常见问题 实时计算Flink版支持的连接器列表，请参见 支持的连接器。您可以使用Kafka连接器来访问DataHub，Kafka连接器使用详情，请参见 消息队列Kafka。分裂或者缩容DataHub Topic后导致Flink作业失败，如何恢复？可以删除正在消费的...
CREATE DATABASE AS（CDAS）语句
示例四：多CDAS&CTAS语句 实时计算Flink版支持使用STATEMENT SET语法将多个CTAS语句作为一个作业一起提交，并且可以对Source进行优化，复用一个Source节点读取多业务表的数据。这对于MySQL CDC数据源场景尤为适用，因为这可以减少server-id...
功能与优势
本文为您介绍阿里云实时计算Flink全托管产品的功能点和价值，以及和开源Flink的对比优势。类型 功能 描述 价值 性能与成本 兼容性 全面兼容开源Flink，包括各层API、参数配置及SQL语法等。更好的引擎性能和更细粒度资源配置使得整体TCO优于...
管理自定义函数（UDF）
为了避免JAR包依赖冲突，在开发自定义函数时您需要注意以下几点：作业开发页面选择的Flink版本，请和Pom依赖中的Flink版本保持一致。Flink相关依赖，scope请使用provided，即在依赖中添加<scope>provided。其他第三方依赖请采用Shade方式...
作业智能诊断
Flink Advisor作业智能诊断服务能够帮您监控作业健康状况，分析和诊断错误日志、异常运行和风险情况，并提供可理解和可操作的诊断建议，全面保障您的业务稳定可靠运行。本文为您介绍如何使用作业智能诊断服务。背景信息 Flink Advisor作业...
MongoDB（公测中）
实时计算Flink VVR 8.0.6及以上版本支持通过 CREATE TABLE AS（CTAS）语句 或 CREATE DATABASE AS（CDAS）语句 将MongoDB的数据和Schema变更同步到下游表。使用时需开启MongoDB数据库的前像后像（Pre-and Post-images）记录功能，详情请...
通过实时计算Flink集成向量数据
若实时计算Flink端使用开源自建版，请确保 flink-adbpg-connector 已安装在$FLINK_HOME/lib 目录下。若使用 公有云托管版，则无任何操作。AnalyticDB PostgreSQL版 数据库已安装向量检索插件FastANN。您可以在psql客户端通过 \dx fastann ...
Postgres CDC（公测中）
相关文档 实时计算Flink版支持的连接器列表，请参见 支持的连接器。将数据写入PolarDB PostgreSQL版（Oracle语法兼容1.0）结果表，请参见 PolarDB PostgreSQL版（Oracle语法兼容1.0）。如果您需要读写RDS MySQL、PolarDB for MySQL或者自建...
注册Hive Kerberos集群
如果您的Flink作业要访问的Hive支持了Kerberos，则需要您先在Flink全托管控制台上注册Hive Kerberos集群，然后在Flink作业中配置Kerberos集群信息，即可访问支持了Kerberos的Hive。使用限制 仅支持Hadoop 3版本的Hive Kerberos集群。一个...
支持的函数
本文为您介绍实时计算Flink版支持的所有内置函数。支持的函数 Flink全托管VVR 3.0.0版本在Flink V1.12的基础上增加了部分内置函数，详情请参见 标量函数、表值函数 和 聚合函数。下表展示的是Flink全托管在Flink V1.15版本的基础上支持的...
管理MySQL Catalog
登录 实时计算控制台，在 Flink全托管 页签，单击目标工作空间 操作 列下的 控制台。单击 元数据管理。单击 创建Catalog，选择 MySQL，单击 下一步。填写参数配置信息。重要 Catalog创建完成后，以下配置信息都不支持修改。如果需要修改，...
系统检查点或作业快照
本文为您介绍实时计算Flink版系统检查点或作业快照相关的常见问题。两次Checkpoint最小间隔时间计算方式 VVR 8.x和VVR 6.x使用的GeminiStateBackend有什么区别？报错：org.apache.flink.util.SerializedThrowable 报错：You are using the ...
配置作业部署信息
操作步骤 登录 实时计算控制台。在 Flink全托管 页签，单击目标工作空间 操作 列下的 控制台。在 作业运维 页面，单击目标作业名称。在 部署详情 页签，单击目标区域右侧的 编辑。说明 因为SQL作业基础配置需要返回到 SQL开发 页面，才能...
分场景排错指引
本文为您介绍实时计算Flink版分场景排错指引方面的常见问题，包括权限、运维和数据异常等问题。权限 不小心删除了角色或者变更了授权策略，导致Flink全托管服务不可用怎么办？运维 JobManager没有运行起来，如何快速定位问题？Python作业，...
动态扩缩容与参数动态更新
动态更新Flink作业参数可以实现更快的参数配置生效，减少作业启停对业务的中断时间，方便进行TM动态扩缩容和系统检查点的排查。背景信息 传统的Flink参数更新方式需要重新启动作业，可能会出现业务中断、数据回追延迟和资源占用高峰等问题...
管理Hologres Catalog
实时计算Flink版仅支持读写Hologres内表，因此Hologres实例必须是独占实例，不支持 Hologres共享集群实例。创建Hologres Catalog 支持UI与SQL命令两种方式配置Hologres Catalog，推荐使用UI方式配置Hologres Catalog。UI方式（推荐）进入...
配置自动调优
实时计算Flink版提供了自动调优功能，您可以根据以下信息，选择合适的调优模式。调优模式 适用场景 使用优势 相关文档 智能调优 某作业使用资源30 CU，上线平稳运行一段后，发现在Source无延迟、无反压的情况下，作业的CPU和内存使用率有时...
管理AnalyticDB MySQL（ADB）Catalog
配置AnalyticDB MySQL Catalog后，您就可以在Flink全托管控制台直接访问AnalyticDB MySQL实例中的表。本文为您介绍如何在Flink全托管模式下创建、查看、使用及删除AnalyticDB MySQL Catalog。背景信息 AnalyticDB MySQL Catalog具有以下...
日志实时入仓快速入门
已创建Flink工作空间，详情请参见 开通实时计算Flink版。上下游存储 已创建消息队列Kafka实例，详情请参见 步骤三：创建资源。已创建Hologres实例，详情请参见 购买Hologres。说明 消息队列Kafka和Hologres需要与Flink全托管工作空间在相同...
管理域名
在实时计算控制台上，您可以管理上下游服务的域名。本文为您介绍如何在实时计算控制台上新增域名、修改域名和删除域名。使用限制 填写域名时，不支持填写大写字符。单个工作空间最多只能设置50个合法域名。当工作空间状态为运行中时，才...
SQL常见问题
本文为您介绍实时计算Flink版的SQL常见问题，包括作业常见问题、开发报错、运维报错。为什么使用POJO类作为UDTF返回类型时字段会出现“错位”?为什么数据在LocalGroupAggregate节点中长时间卡住，无输出？运行拓扑图中显示的Low Watermark...
上下游存储
本文为您介绍实时计算Flink版上下游存储方面的常见问题。Kafka源表 Flink如何获取JSON数据？Flink和Kafka网络连通，但Flink无法消费或者写入数据？为什么Kafka源表数据基于Event Time的窗口后，不能输出数据？Flink中的Commit Offset有什么...
作业调试
登录 实时计算控制台。在 Flink全托管 页签，单击目标工作空间 操作 列下的 控制台。在左侧导航栏上，单击 Session管理。单击 创建Session集群。填写配置信息。参数详情如下表所示。模块 配置项 说明 基础配置 名称 Session集群名称。部署...
2022-03-04版本
本文为您介绍2022年3月4日发布的Flink全托管版本的重大功能变更和主要缺陷修复。概述 2022年3月4日正式对外发布VVR 4.0.12版本，该版本是基于Apache Flink 1.13。在本次新版本中，对于常见的Kafka->Flink->Hologres链路，我们支持JSON ...
部署作业
Flink 1.11或Flink 1.10版本：手动将作业引擎版本升级到vvr-3.0.3-flink-1.12或vvr-4.0.8-flink-1.13版本后重启作业，否则会在启动作业时超时报错。JAR URI 请选择一个文件或者手动上传新文件，您可以拖拽文件到此区域或者单击右侧 图标...
管理DLF Catalog
配置DLF Catalog后，您可以在Flink全托管控制台直接访问DLF实例中的表，无需再手动注册DLF表，提高作业开发的效率且保证数据的正确性。本文为您介绍如何在Flink全托管模式下创建、查看、使用及删除DLF Catalog。背景信息 阿里云数据湖构建...
2023-08-21版本
具体升级计划，请关注 实时计算控制台 页面右侧的最新公告。概述 2023年8月21日正式对外发布Flink全托管的新版本，包含引擎更新、连接器更新、性能优化以及缺陷修复。引擎侧将正式对外发布VVR 8.0.1版本，该版本是基于Apache Flink 1.17.1...
监控指标说明
本文为您介绍Flink全托管支持的监控指标详情。注意事项 Source端的指标表现并不是判断问题根源的充分条件，只反映了Source当前的工作状况，您仍然需要其他辅助指标或工具来判断问题的根源。常见问题的指标表现如下。场景 详情 作业中某些算...
2023-10-23版本
具体升级计划，请关注 实时计算控制台 页面右侧的最新公告。概述 2023年10月23日正式对外发布Flink全托管的新版本，包含平台升级、引擎更新、连接器更新、性能优化以及缺陷修复。引擎侧将正式对外发布VVR 8.0.3版本，该版本是基于Apache ...
管理SLS Catalog
登录 实时计算控制台。在 Flink全托管 页签，单击目标工作空间 操作 列下的 控制台。单击 元数据管理。在 Catalog列表 页面，查看 Catalog名称 和 类型。说明 如果您需要查看Catalog下的logstore信息，请单击 查看。查看SLS LogStore 在 ...
管理Kafka JSON Catalog
配置Kafka JSON Catalog后，您可以在Flink全托管作业开发中直接访问Kafka集群中格式为JSON的Topic，无需再定义Schema。本文为您介绍如何在Flink全托管模式下创建、查看及删除Kafka JSON Catalog。背景信息 Kafka JSON Catalog通过自动解析...
MySQL
重要 earliest-offset，specific-offset 和 timestamp 启动模式在Flink计算引擎VVR 6.0.4及以上的版本支持使用。对于 earliest-offset，specific-offset 和 timestamp 启动模式，如果启动时刻和指定的启动位点时刻的表结构不同，作业会因为...
使用Kafka连接器进行Kerberos认证
步骤二：上传Kerberos配置文件 登录 实时计算控制台。单击目标工作空间 操作 列下的 控制台。在左侧导航栏，单击 资源管理。单击 上传资源。选择您要上传的 krb5.conf 和 keytab 文件。后续作业配置时，如果上传后的文件名为 krb5.conf 和 ...
MySQL整库同步Kafka
为了缓解对上游MySQL数据库的压力，阿里云Flink实时计算已提供MySQL整库同步到Kafka的能力，通过引入Kafka作为中间层，并使用CDAS整库同步或CTAS整表同步到Kafka来解决。具体操作是使用CDAS或CTAS语法，在一个作业里将上游的MySQL的数据...
- 产品推荐
- 这些文档可能帮助您