监控服务ARMS Prometheus计费模式变更
自2023年12月8日起，实时计算Flink版对接ARMS Prometheus新版计费模式，可观测监控Prometheus版专家版的计费模式变更为按写入的可观测数据量收费。变更优势 相比旧版计费模式，费用预估可节省55%以上。新版计费模式下费用节省情况请参见 ...
通过Flink读写云原生数据仓库AnalyticDB PostgreSQL版...
本文介绍如何通过阿里云实时计算Flink版实时读写云原生数据仓库 AnalyticDB PostgreSQL版 数据。背景信息 云原生数据仓库AnalyticDB PostgreSQL版 是一种大规模并行处理（MPP）数据仓库服务，可提供海量数据在线分析服务。实时计算Flink版 ...
修改虚拟交换机
如果您重新规划了IPv4网段或遇到作业启动...实时计算Flink版默认不具备访问公网的能力，但通过在VPC中创建NAT网关，并创建SNAT条目，将Flink所在的交换机绑定至弹性公网IP（EIP），即可通过EIP访问公网，详情请参见 Flink全托管如何访问公网？
2023-10-23版本
在该版本中，我们增强了Flink与阿里云各存储和计算产品之间的互操作性，对MaxCompute、StarRocks、Redis、SLS、RocketMQ连接器进行了功能增强，提高了连接器的性能和稳定性，此外，我们还提升了CTAS的易用性。平台侧主要变更有：优化了自动...
管理自定义连接器
注意事项 您需要根据社区定义的连接器标准开发您自定义的连接器，才能正确地被实时计算Flink版识别并使用，因此您需要明确连接器Meta文件和声明Factory类。自定义连接器开发详情请参见 User-defined Sources&Sinks。同种类型的连接器仅可以...
Postgres CDC（公测中）
相关文档 实时计算Flink版支持的连接器列表，请参见 支持的连接器。将数据写入PolarDB PostgreSQL版（Oracle语法兼容1.0）结果表，请参见 PolarDB PostgreSQL版（Oracle语法兼容1.0）。如果您需要读写RDS MySQL、PolarDB for MySQL或者自建...
废弃或恢复监控指标
如果您不需要实时计算Flink版监控告警功能或某些监控指标，您可以关闭对应工作空间的监控告警或废弃具体指标，以节省费用，后续有需要时可以重新恢复指标采集。本文为您介绍如何关闭监控告警、废弃监控指标，以及对应的恢复操作。注意事项 ...
云数据库RDS MySQL版
如果您可以预估一条数据对应的维表数据最多为n条，则可以设置 maxJoinRows='n'，以确保实时计算匹配处理效率。类型映射 Flink字段类型 RDS MySQL字段类型 BOOLEAN BOOLEAN TINYINT TINYINT TINYINT(1)说明 仅维表支持该映射。BOOLEAN ...
2022-12-12版本
通过查询您可以获取到错误原因和解决方案。支持增加或删除CDAS作业非空列的变更。在使用Kafka JSON Catalog推断Schema时，新增支持保持列的顺序一致。在写入MaxCompute数据时，支持可配置重试机制，以避免在Tunnel集群出现闪断情况，导致...
概述
Flink全托管提供状态兼容性检查和状态数据迁移功能。本文为您介绍Flink全托管兼容性判断的结果详情，以及RocksDB和Gemini两种StateBackend在状态数据迁移时的迁移效率和作业表现方面的区别。背景信息 Flink作业是通过状态数据（包括...
使用Kafka连接器进行Kerberos认证
步骤二：上传Kerberos配置文件 登录 实时计算控制台。单击目标工作空间 操作 列下的 控制台。在左侧导航栏，单击 资源管理。单击 上传资源。选择您要上传的 krb5.conf 和 keytab 文件。后续作业配置时，如果上传后的文件名为 krb5.conf 和 ...
SQL作业开发
相关的使用场景和使用方法详情如下：支持的连接器 密钥管理 管理自定义连接器 管理自定义函数（UDF）管理元数据 操作步骤 登录Flink全托管控制台，新建作业。登录 实时计算控制台。在 Flink全托管 页签，单击目标工作空间 操作 列下的 控制...
2024-04-01版本
本文为您介绍2024年4月1日发布的实时计算Flink版的重大功能变更和主要缺陷修复。重要 本次升级计划在全网逐步进行灰度，预计3-4周完成全部升级，具体计划请关注 实时计算控制台 页面右侧的最新公告。如果您不能使用相关新功能，说明您的...
实时计算Flink版产品公告
【计费变更】实时计算Flink版监控服务ARMS Prometheus上线新版计费模式 自2023年12月8日起，实时计算Flink版对接ARMS Prometheus新版计费模式，可观测监控Prometheus版专家版的计费模式变更为按写入的可观测数据量收费，相比旧版计费预估可...
安全白皮书
实时计算Flink版完全兼容开源Apache Flink API，从访问控制、网络、存储、备份恢复、操作审计等方面，提供全面的安全加固功能来保障您的数据安全。租户隔离 支持多租户的使用场景，通过阿里云账号认证体系（认证方式采用AccessKey对称密钥...
Table/SQL JAR迁移至JAR
本文为您介绍如何将自建Flink集群上的Table/SQL JAR作业，迁移至实时计算Flink全托管的JAR作业。背景信息 本文将使用开源JDBC Connector写阿里云RDS的方式进行作业迁移，因此需要额外配置附加依赖文件选项。实时计算Flink全托管版集群内置...
云监控与ARMS告警服务功能对比
实时计算Flink版支持选择云监控（免费监控服务）或ARMS可观测监控Prometheus版监控服务为您提供作业监控告警功能。本文介绍云监控和ARMS在Flink监控告警上的功能差异，您可以根据实际需要进行选择。功能对比 对比项 功能 ARMS 云监控 服务...
MySQL整库同步Kafka
为了缓解对上游MySQL数据库的压力，阿里云Flink实时计算已提供MySQL整库同步到Kafka的能力，通过引入Kafka作为中间层，并使用CDAS整库同步或CTAS整表同步到Kafka来解决。具体操作是使用CDAS或CTAS语法，在一个作业里将上游的MySQL的数据...
2023-12-07版本
管理资源队列 任务编排（公测）通过可视化的操作界面轻松地编排批作业运行的顺序，调度批作业任务的运行，高效构建数据仓库，在实时计算Flink版平台实现开发、调度、部署和运维一体化。任务编排（公测）查询脚本 可以在查询脚本中通过DDL、...
企业级状态后端存储介绍
GeminiStateBackend是一款面向流计算场景的KV存储引擎，作为实时计算Flink版产品的默认状态存储后端（StateBackend）。本文为您介绍企业级状态后端存储GeminiStateBackend的核心设计，以及其与RocksDBStateBackend的性能对比情况。整体介绍...
管理自定义Catalog
说明 支持使用其他服务的HTTP路径，需要该服务和实时计算Flink版在同一VPC下或者先打通实时计算Flink版和目标服务的公网网络链接后使用公网地址。详情请参见 Flink全托管集群如何访问公网？单击 下一步。确认Properties信息后，单击 确定。...
API概览
本产品（实时计算 Flink版/2022-07-18）的OpenAPI采用 ROA 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求...
2023-08-21版本
除引擎内核与状态后端升级外，本次发布进一步增强了Flink与阿里云各存储和计算产品间的互操作性，提供了更丰富的连接器功能，并提升了性能和稳定性。主要包括：正式推出MongoDB CDC连接器，进入公测阶段，支持高效地从MongoDB数据库中...
数据库实时入仓快速入门
实时计算Flink版提供了丰富强大的数据实时入仓能力。通过Flink的全增量自动切换、元信息自动发现、表结构变更自动同步和整库同步等功能，简化了数据实时入仓的链路，使得实时数据同步更加高效便捷。本文介绍如何快速构建一个从MySQL到...
管理自定义函数（UDF）
为了避免JAR包依赖冲突，在开发自定义函数时您需要注意以下几点：作业开发页面选择的Flink版本，请和Pom依赖中的Flink版本保持一致。Flink相关依赖，scope请使用provided，即在依赖中添加<scope>provided。其他第三方依赖请采用Shade方式...
按量付费
按量付费是一种后付费的计费模式，无需您提前购买大量资源，系统会根据您工作空间实际的资源使用量进行结算。本文将为您介绍按量付费的计费规则、不同地域的单价以及停止计费的相关信息。...开通工作空间操作，请参见 开通实时计算Flink版。
实时计算Blink产品公告（已停止新购）
2019年5月29日-北京、上海地区实时计算Flink版共享模式停止售卖 自2019年5月29日起，停止售卖北京和上海地区共享模式的实时计算Flink版。2019年3月14日-共享模式默认版本升级为2.2.7 自2019年3月14日起，实时计算Flink版共享模式默认版本...
DDL数据定义语句
由于文档优化调整，原DDL内容已移至连接器目录下。最新的文档内容，请参见 支持的连接器。如果您有任何关于文档的反馈，可在对应文档页面选中相关文字后，单击 文档反馈，将建议反馈给我们。
数据正确性
检查源表数据是否进入实时计算Flink版 排错指引 这种情况下没有Failover，但数据延时会很大，请查看数据曲线页面numRecordsIn_VVP，检查各Source输入是否有数据。解决方案 检查源表，保证上游有数据进入实时计算Flink版。检查数据是否被...
Upsert Kafka
您需要连接实时计算Flink与Kafka集群之间网络。Kafka on EMR可参见文档配置 创建和管理专有网络 和 安全组概述，云消息队列 Kafka 版 需要 配置白名单。使用限制 仅Flink计算引擎VVR 2.0.0及以上版本支持消息队列Kafka连接器。仅支持读取和...
注册Hive Kerberos集群
如果您的Flink作业要访问的Hive支持了Kerberos，则需要您先在Flink全托管控制台上注册Hive Kerberos集群，然后在Flink作业中配置Kerberos集群信息，即可访问支持了Kerberos的Hive。使用限制 仅支持Hadoop 3版本的Hive Kerberos集群。一个...
管理域名
在实时计算控制台上，您可以管理上下游服务的域名。本文为您介绍如何在实时计算控制台上新增域名、修改域名和删除域名。使用限制 填写域名时，不支持填写大写字符。单个工作空间最多只能设置50个合法域名。当工作空间状态为运行中时，才...
算子探查（公测）
实时计算Flink版提供了算子探查功能，可以在不修改作业的情况下，探查选中算子的输入输出情况，帮助您更好地排查数据正确性问题。使用限制 仅支持运行中的SQL作业。仅支持实时计算引擎VVR 8.0.4及以上版本作业。不支持CTAS、CDAS作业。不...
网络连通性
如果源端或目标端任意一个与阿里云实时计算Flink版不在同一VPC下，会导致源端和目标端网络不通，数据无法读写。因此，如果您遇到数据无法读写的情况时，可以按照以下步骤排查是否为网络问题：检查上游存储和Flink全托管之间网络是否连通。...
按登录方式授权
实时计算Flink版支持阿里云账号、阿里云RAM用户、阿里云RAM角色、资源目录成员方式登录并访问实时计算控制台，以及进行作业开发和运维。不同登录方式下需要被授权的主体（身份或账号）可能不同，本文通过示例为您介绍不同登录方式下，访问...
OceanBase（公测中）
具体操作可参考以下文档：MySQL模式 CREATE DATABASE CREATE TABLE Oracle模式 CREATE USER CREATE TABLE 使用限制 维表和结果表 Flink计算引擎VVR 8.0.1及以上版本支持OceanBase连接器。语义上可以保证At-Least-Once，在结果表有主键的...
同城高可用
在购买实时计算Flink版时，您需要选中 是否启用跨可用区，并填写 计算资源配额，选择对应的主备可用区和虚拟交换机，详情请参见 开通实时计算Flink版。在跨可用区项目空间创建并运行作业，详情请参见 进入目标项目空间。方式2：已有工作...
作业引擎版本升级
本文将为您介绍如何升级实时计算Fllink版作业的引擎版本。注意事项 实时计算Fllink版引擎发布前，会进行丰富的兼容性测试，原则上同一大版本下的小版本间升级是兼容的，大版本间升级不保证兼容。引擎版本详情请参见 引擎版本号及其含义。...
Flink JAR作业快速入门
本文带您快速体验Flink JAR流作业和批作业的创建、部署和启动，以了解实时计算Flink版JAR作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 权限管理。已创建Flink工作空间...
计费项
本文介绍实时计算Flink版产品的计费项、计算公式、资源估算方法，以及Flink开通和使用过程中涉及的其他云产品的费用情况。资源估算 Flink工作空间的基本计量单位为Compute Unit（CU），即计算资源，1 CU=1核CPU+4 GiB内存+20 GB本地存储...
- 产品推荐
- 这些文档可能帮助您