迁移方案
本文为您介绍将自建开源Flink集群的流式作业（包含Table API、SQL和Datastream）迁移至阿里云实时计算Flink全托管版的迁移优势、迁移方案和相关文档。迁移优势 Flink全托管产品按CU售卖，根据业务需要按需购买，可以降低成本。另外提供提交...
实时计算开发控制台显示服务暂不可用
问题描述 实时计算开发控制台显示服务暂不可用。问题原因 1....SLB可以让您以公网的形式访问Flink全托管实例，如果SLB欠费7天没有续费，SLB将会被释放，释放后就不能通过公网访问。2.VVP版本更新可能会导致一段时间内...适用范围 实时计算Flink版
JAR作业开发
Flink源代码中只有明确标注了@Public或者@PublicEvolving的才是公开供用户调用的方法，阿里云实时计算Flink版只对这些方法的兼容性做出产品保证。如果是Flink服务内置的Connector支持的datastream api，建议使用其内置的依赖。作业开发 ...
实时计算Flink版的审计事件
实时计算Flink版已与操作审计服务集成，您可以在操作审计中查询用户操作实时计算Flink版产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了...
通过实时计算（Flink）访问HBase增强版
您可以使用社区版Flink或阿里云实时计算版Flink访问HBase增强版集群。本文介绍同时适用于阿里云实时计算版Flink和社区版Flink访问HBase增强版集群的方法。背景信息 您可以将HBase增强版中的表作为Flink中的维表或结果表，并通过Flink SQL...
使用阿里云Flink（流式数据传输）
实时计算Flink版内置插件支持通过批量数据通道写入MaxCompute，受到批量数据通道并发数及存储文件数影响，内置版本插件会有性能瓶颈。MaxCompute提供了使用流式数据通道的Flink插件，支持使用Flink在高并发、高QPS场景下写入MaxCompute。...
Flink全托管资源管理
Flink全托管资源 阿里云实时计算Flink版是阿里云基于Apache Flink构建的一站式实时大数据分析平台，提供端到端亚秒级实时数据分析能力，有关Flink全托管资源的详细信息请参见 Flink全托管资源概述。前提条件 在开始执行操作之前，请确认您...
管理Paimon Catalog
Paimon Catalog使用的OSS Bucket必须与实时计算Flink版位于同一地域，且开通实时计算Flink版服务的账号必须有权限读写该OSS Bucket。注意事项 目前由于Flink全托管相关缓存机制，通过SQL方式进行Catalog、Database和table的增删，无法立刻...
Flink VVP+DLF数据入湖与分析实践
数据湖构建（DLF）可以结合阿里云实时计算Flink版（Flink VVP），以及Flink CDC相关技术，实现灵活定制化的数据入湖。并利用DLF统一元数据管理、权限管理等能力，实现数据湖多引擎分析、数据湖管理等功能。本文为您介绍Flink+DLF数据湖方案...
复杂事件处理（CEP）语句
背景信息 相较于Apache Flink的CEP SQL，实时计算Flink版在其基础上进行了增强。例如，支持输出超时匹配、支持松散连接（followedBy）、支持指定事件之间的连续性等。关于Apache Flink CEP SQL的基本能力，详情请参见 Pattern Recognition...
实时计算Flink读写OSS或者OSS-HDFS
具体操作，请参见 开通实时计算Flink版。开通Flink全托管后，Flink全托管 页签将在5~10分钟内显示已创建完成的 工作空间。已创建SQL作业。创建SQL作业时，Flink计算引擎需选择VVR 8.0.1及以上版本。具体操作，请参见 新建作业。使用限制 仅...
Table/SQL JAR迁移至JAR
本文为您介绍如何将自建Flink集群上的Table/SQL JAR作业，迁移至实时计算Flink全托管的JAR作业。背景信息 本文将使用开源JDBC Connector写阿里云RDS的方式进行作业迁移，因此需要额外配置附加依赖文件选项。实时计算Flink全托管版集群内置...
支持的连接器
表类型的定义 阿里云实时计算Flink版通过Flink SQL定义表对上下游存储进行映射或者使用Datastream API进行连接来实现读写。支持以下几种Flink SQL表类型的定义：源表（Source Table）Flink作业的数据输入表，是计算的驱动来源。不能作为维...
概述
实时计算Flink版支持在Flink SQL作业中使用Java自定义函数，本文介绍Flink Java自定义函数的分类、参数传递及调用注意事项。注意事项 为了避免JAR包依赖冲突，在开发自定义函数时您需要注意以下几点：SQL开发页面选择的Flink版本，请和Pom...
Flink动态CEP快速入门
实时计算Flink版支持通过DataStream作业的方式运行支持规则动态更新的Flink CEP作业。本文结合实时营销中的反作弊场景，为您介绍如何基于Flink全托管快速构建一个动态加载最新规则来处理上游Kafka数据的Flink CEP作业。背景信息 在电商平台...
2022-05-16版本
无 新增产品公告能力 实时计算Flink版在作业控制台上新增了产品公告的能力，您可以直接接收到包括产品升级在内的各种用户须知信息。这样可以有效避免通过短信、站内信、钉钉群等途径无法完全触达终端用户的问题。无 UI优化 支持全新阿里云...
功能发布记录
Flink产品重大变更或者活动公告信息请在 实时计算控制台 或者 实时计算Flink版产品公告 上进行查看。企业级状态后端存储GeminiStateBackend，以及其与RocksDBStateBackend的性能对比情况，请参见 企业级状态后端存储介绍。
数据库实时入仓快速入门
实时计算Flink版提供了丰富强大的数据实时入仓能力。通过Flink的全增量自动切换、元信息自动发现、表结构变更自动同步和整库同步等功能，简化了数据实时入仓的链路，使得实时数据同步更加高效便捷。本文介绍如何快速构建一个从MySQL到...
概览
实时计算Flink版（Alibaba Cloud Realtime Compute for Apache Flink，Powered by Ververica）是阿里云基于Apache Flink构建的企业级高性能的实时大数据处理系统。Hologres与Flink深度连通，支持实时写入Flink的数据，可以实时查询写入的...
作业启动问题
详情请参见 开通实时计算Flink版。解决方案 在OSS上配置生命周期规则来定期清理删除标记和不必要的历史版本，详情请参见 使用最后一次修改时间的生命周期规则结合版本控制降低存储成本。报错：Job was submitted in detached mode.Results ...
教程概述
本案例使用阿里云DTS将您的增量数据同步到DataHub上，再通过阿里云实时计算Flink订阅DataHub的数据进行实时计算，并将结果插入到RDS数据库中，最终通过DataV大屏进行展示。说明 本案例仅提供具体的操作指导，业务场景和数据与实际情况会有...
CREATE DATABASE AS（CDAS）语句
示例四：多CDAS&CTAS语句 实时计算Flink版支持使用STATEMENT SET语法将多个CTAS语句作为一个作业一起提交，并且可以对Source进行优化，复用一个Source节点读取多业务表的数据。这对于MySQL CDC数据源场景尤为适用，因为这可以减少server-id...
Flink/Blink实时消费Hologres Binlog
url 目标实时计算Flink版项目任意一个作业的连接地址。AccessKeyID 能访问实时计算Flink版项目空间的账号AccessKey ID。AccessKeySecret 能访问实时计算Flink版项目空间的账号AccessKey Secret。binlog/rpc 需要检查的作业内容，取值如下：...
AI计算资源概述
Flink全托管资源 阿里云实时计算Flink版是阿里云基于Apache Flink构建的一站式实时大数据分析平台，提供端到端亚秒级实时数据分析能力，有关Flink全托管资源的详细信息请参见 什么是阿里云实时计算Flink版。您可以在 资源配额 页面购买...
作业状态集管理
系统检查点（Checkpoint）和作业快照（Savepoint）统称为状态集。...相关文档 实时计算Flink版系统检查点或作业快照相关的常见问题，请参见 系统检查点或作业快照。SQL修改所造成的兼容性影响详情，请参见 SQL修改及兼容性。
分场景排错指引
本文为您介绍实时计算Flink版分场景排错指引方面的常见问题，包括权限、运维和数据异常等问题。权限 不小心删除了角色或者变更了授权策略，导致Flink全托管服务不可用怎么办？运维 JobManager没有运行起来，如何快速定位问题？Python作业，...
系统检查点或作业快照
本文为您介绍实时计算Flink版系统检查点或作业快照相关的常见问题。两次Checkpoint最小间隔时间计算方式 VVR 8.x和VVR 6.x使用的GeminiStateBackend有什么区别？报错：org.apache.flink.util.SerializedThrowable 报错：You are using the ...
基于Flink+Paimon搭建流式湖仓
本文为您介绍如何通过实时计算Flink版和流式数据湖仓Paimon搭建流式湖仓。背景信息 随着社会数字化发展，企业对数据时效性的需求越来越强烈。传统的离线数仓搭建方法论比较明确，通过定时调度离线作业的方式，将上一时段产生的新鲜变更并入...
通过Flink读写AnalyticDB PostgreSQL数据
本文介绍如何通过阿里云实时计算Flink版实时读写云原生数据仓库 AnalyticDB PostgreSQL版 数据。背景信息 云原生数据仓库AnalyticDB PostgreSQL版 是一种大规模并行处理（MPP）数据仓库服务，可提供海量数据在线分析服务。实时计算Flink版 ...
云消息队列 RocketMQ 版
重要 鉴于 云消息队列 RocketMQ 版 4.x标准版当前最高可达每秒5千条消息的限速机制，使用该版作为实时计算Flink版对接的消息中间件，可能会导致Flink作业运行不稳定。因此，在选择消息中间件时，如果您正在或计划通过标准版RocketMQ与Flink...
日志服务SLS
说明 实时计算Flink版默认不具备访问公网的能力，但阿里云提供的NAT网关可以实现VPC网络与公网网络互通，详情请参见 Flink全托管如何访问公网？project SLS项目名称。String 是 无 无。logStore SLS LogStore或metricstore名称。String 是 ...
包年包月
包年包月是一种先付费后使用的计费方式，在购买时根据购买时长预先支付了费用。适用于具有长期稳定，可预估资源使用周期的业务场景。本文为您介绍包年包月付费模式的计费规则、计费周期和...开通工作空间操作，请参见 开通实时计算Flink版。
实时数据集成的连接器
本文介绍如何使用实时计算Flink版集成物联网平台数据的连接器（IoT Connector）。下载连接器（IoT Connector）连接器文件：iot-flink-connector-source.jar。支持的数据类型 数据类型 物联网平台存储表的数据类型 Flink配置的数据类型 整型...
基于Flink的资讯场景实时数仓
本文介绍如何针对资讯聚合类业务场景搭建基于 云消息队列 Kafka 版 和实时计算Flink的实时数仓。场景描述 本文首先介绍什么是实时数仓以及相关技术架构，接着介绍资讯聚合类业务的典型场景及其业务目标，并据此设计了相应的技术架构。然后...
实时模式配置概述
配置项 描述 资源配置 开源Flink实时计算源 对于开源Flink创建的实时任务，任务的实时模式资源配置支持配置任务的生产环境和开发环境的资源队列、引擎版本以及任务的并行度、Task Manager数量、Job Manager Momory和Task Manager Momory。...
实时计算Flink版实时消费Hologres
本文为您介绍实时计算Flink版消费Hologres的详情。使用限制 Hologres 0.10及以下版本，已存在的表无法修改表属性开启Binlog，需要重新建表。Hologres V1.1及以上版本，可以根据业务需要选择开启或关闭Binlog能力，同时支持配置TTL满足不同...
管理Hologres Catalog
实时计算Flink版仅支持读写Hologres内表，因此Hologres实例必须是独占实例，不支持 Hologres共享集群实例。创建Hologres Catalog 支持UI与SQL命令两种方式配置Hologres Catalog，推荐使用UI方式配置Hologres Catalog。UI方式（推荐）进入...
常见问题概述
本章节汇总了使用 可观测监控 Prometheus 版 的常见...如何关闭对实时计算Flink版的监控？为什么在容器中得到的内存值不一致？如何部署和配置Kafka JMX Agent 如何安装和配置Windows Exporter 为什么配置的ServiceMonitor或PodMonitor未生效？
实时数仓Hologres
从VVR 3.0.0版本开始，支持实时消费Hologres数据，详情请参见 实时计算Flink版实时消费Hologres。从VVR 6.0.3版本开始，Hologres源表在批模式读取时支持filter下推，详见源表独有参数 enable_filter_push_down。Hologres CDC模式暂不支持...
CREATE TABLE AS（CTAS）语句
示例四：多个CTAS语句作为一个作业提交 实时计算Flink版支持使用STATEMENT SET语法将多个CTAS语句作为一个作业一起提交，并且可以对Source进行优化，复用一个Source节点读取多业务表的数据。这对于MySQL CDC数据源场景尤为适用，因为这可以...
- 产品推荐
- 这些文档可能帮助您