社区版CDC
重要 社区版CDC连接器是遵循Apache 2.0开源协议的社区开源项目，与阿里云实时计算Flink版产品提供的商业版连接器在服务支持及SLA存在差异：在使用时，如果您遇到配置失败、作业失败或数据丢失等问题，需要到开源社区寻找对应问题的解决方案...
基本概念
无 连接器（Connector）实时计算Flink版内置了丰富的连接器用于多种上下游的数据读写与同步，并支持上传和使用自定义连接器。支持的连接器 函数（Function）实时计算Flink版提供函数功能，包括内置函数和自定义函数。窗口函数概述 支持的...
通过Flink读写云原生数据仓库AnalyticDB PostgreSQL版...
本文介绍如何通过阿里云实时计算Flink版实时读写云原生数据仓库 AnalyticDB PostgreSQL版 数据。背景信息 云原生数据仓库AnalyticDB PostgreSQL版 是一种大规模并行处理（MPP）数据仓库服务，可提供海量数据在线分析服务。实时计算Flink版 ...
技术支持
不支持的服务 不负责基于实时计算Flink版的业务代码实现（包括SQL、DataStream和Python作业、自定义 UDX、自定义Format和自定义连接器）、数据正确性排查、作业性能调优和业务迁移等。不负责非产品标准能力的支持，例如产品未提供的连接器...
数据总线DataHub
} 常见问题 实时计算Flink版支持的连接器列表，请参见 支持的连接器。您可以使用Kafka连接器来访问DataHub，Kafka连接器使用详情，请参见 消息队列Kafka。分裂或者缩容DataHub Topic后导致Flink作业失败，如何恢复？可以删除正在消费的...
什么是阿里云实时计算Flink版
阿里云实时计算Flink版是一套基于Apache Flink构建的⼀站式实时大数据分析平台，提供端到端亚秒级实时数据分析能力，并通过标准SQL降低业务开发门槛，助力企业向实时化、智能化大数据计算升级转型。产品概述 阿里云实时计算Flink版是一种全...
云原生数据仓库AnalyticDB PostgreSQL版（ADB PG）
使用限制 仅Flink实时计算引擎VVR 6.0.0及以上版本支持云原生数据仓库AnalyticDB PostgreSQL版连接器。仅Flink实时计算引擎VVR 8.0.1及以上版本支持云原生数据仓库AnalyticDB PostgreSQL版7.0版本。暂不支持自建的Postgres SQL。语法结构 ...
基于Flink+Hologres搭建实时数仓
本文介绍如何通过实时计算Flink版和实时数仓Hologres搭建实时数仓。背景信息 随着社会数字化发展，企业对数据时效性的需求越来越强烈。除传统的面向海量数据加工场景设计的离线场景外，大量业务需要解决面向实时加工、实时存储、实时分析的...
2024-01-04版本
概述 2024年01月04日正式对外发布实时计算Flink版的引擎新版本VVR 8.0.5，包含连接器更新、性能优化以及缺陷修复。该版本是基于Apache Flink 1.17.2的企业级Flink引擎。在该版本中，我们对MySQL源表CDC在指定位点（指定偏移量和时间戳）后...
管理自定义Catalog
说明 支持使用其他服务的HTTP路径，需要该服务和实时计算Flink版在同一VPC下或者先打通实时计算Flink版和目标服务的公网网络链接后使用公网地址。详情请参见 Flink全托管集群如何访问公网？单击 下一步。确认Properties信息后，单击 确定。...
管理自定义连接器
注意事项 您需要根据社区定义的连接器标准开发您自定义的连接器，才能正确地被实时计算Flink版识别并使用，因此您需要明确连接器Meta文件和声明Factory类。自定义连接器开发详情请参见 User-defined Sources&Sinks。同种类型的连接器仅可以...
使用限制
使用限制 浏览器：仅支持通过Chrome内核的浏览器访问阿里云实时计算Flink版控制台。地域及可用区：实时计算Flink在中国和海外多个区域提供服务，每个区域有一到多个可用区，支持详情请参见 地域及可用区。资源数：包年包月工作空间开通时，...
2023-12-07版本
管理资源队列 任务编排（公测）通过可视化的操作界面轻松地编排批作业运行的顺序，调度批作业任务的运行，高效构建数据仓库，在实时计算Flink版平台实现开发、调度、部署和运维一体化。任务编排（公测）查询脚本 可以在查询脚本中通过DDL、...
2024-04-01版本
本文为您介绍2024年4月1日发布的实时计算Flink版的重大功能变更和主要缺陷修复。重要 本次升级计划在全网逐步进行灰度，预计3-4周完成全部升级，具体计划请关注 实时计算控制台 页面右侧的最新公告。如果您不能使用相关新功能，说明您的...
开通实时计算Flink版
使用实时计算Flink版需要开通工作空间，每个工作空间的计算资源隔离，开发控制台相互独立。本文为您介绍开通Flink工作空间的操作步骤，以及开通过程中的注意事项。前提条件 已拥有阿里云账号。如果您还没有阿里云账号，请先完成注册，详情...
云消息队列 RocketMQ 版
本文为您介绍 云消息队列 RocketMQ 版 连接器。重要 鉴于 云消息队列 RocketMQ 版 4.x标准版当前最高可达每秒5千条消息的限速机制，使用该版作为实时计算Flink版对接的消息中间件，可能会导致Flink作业运行不稳定。因此，在选择消息中间件...
使用内置公开数据集快速体验实时计算Flink版
本文为您介绍如何基于阿里云实时计算Flink版内置的GitHub公开事件样例数据，快速体验实时计算Flink版产品的实时数据分析功能。注意事项 如果您是实时计算Flink版新用户，可以申请该产品的免费资源包，免费试用体验实时计算Flink版产品的...
Flink JAR作业快速入门
本文带您快速体验Flink JAR流作业和批作业的创建、部署和启动，以了解实时计算Flink版JAR作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 权限管理。已创建Flink工作空间...
数据格式
本文为您介绍Flink支持的数据格式。数据格式 数据格式 支持的连接器 JSON 消息队列Kafka、Upsert Kafka、Elasticsearch、对象存储OSS，云数据库MongoDB、StarRocks。...Parquet 对象存储OSS连接器（实时计算引擎VVR 6.0.7及以上版本）
支持的连接器
表类型的定义 阿里云实时计算Flink版通过Flink SQL定义表对上下游存储进行映射或者使用Datastream API进行连接来实现读写。支持以下几种Flink SQL表类型的定义：源表（Source Table）Flink作业的数据输入表，是计算的驱动来源。不能作为维...
2023-04-13版本
作为预览型功能，自本版本起，阿里云实时计算Flink提供了Apache Paimon(incubating)，这是一项流式数据湖存储技术，提供高吞吐、低延迟的数据摄入、流式订阅和实时查询能力。平台侧将进行多项常用功能的改版，更改了产品控制台的一级目录和...
DataStream连接器设置方法
您可以通过以下任何一种方式来使用连接器：（推荐）上传连接器JAR包到实时计算控制台后，填写配置信息 直接将连接器作为项目依赖打进作业JAR包 重要 请使用我们在 支持的连接器 中指明提供DataStream API的连接器。如果某个连接器未注明...
Flink Python作业快速入门
本文带您快速体验Flink Python流作业和批作业的创建、部署和启动，以了解实时计算Flink版Python作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 权限管理。已创建Flink...
Blackhole
类别 详情 支持类型 结果表 运行模式 批模式和流模式 数据格式 暂不适用 特有监控指标 暂无 API种类 SQL 是否支持更新或删除结果表数据 是 使用限制 仅Flink计算引擎VVR 2.0.0及以上版本支持Blackhole连接器。语法结构 CREATE TABLE ...
CREATE DATABASE AS（CDAS）语句
示例四：多CDAS&CTAS语句 实时计算Flink版支持使用STATEMENT SET语法将多个CTAS语句作为一个作业一起提交，并且可以对Source进行优化，复用一个Source节点读取多业务表的数据。这对于MySQL CDC数据源场景尤为适用，因为这可以减少server-id...
2023-06-21版本
具体升级计划，请关注 实时计算控制台 页面右侧的最新公告。概述 2023年6月21日正式对外发布Flink全托管的新版本，包含平台改版和引擎更新、连接器更新、性能优化以及缺陷修复。引擎侧将正式对外发布VVR 6.0.7版本，该版本是基于Apache ...
StarRocks
CDAS可以实现整库同步或者同一库中的多表结构和数据同步，详情请参见 基于实时计算Flink使用CTAS&CDAS功能同步MySQL数据至StarRocks。前提条件 已创建StarRocks集群，包括EMR的StarRocks或基于ECS的云上自建StarRocks。使用限制 仅实时计算...
2023-11-27版本
具体升级计划，请关注 实时计算控制台 页面右侧的最新公告。概述 2023年11月27日正式对外发布Flink全托管的引擎新版本VVR 8.0.4，包含连接器更新、性能优化以及缺陷修复。该版本是基于Apache Flink 1.17.1的企业级Flink引擎。在该版本中，...
功能与优势
本文为您介绍阿里云实时计算Flink全托管产品的功能点和价值，以及和开源Flink的对比优势。类型 功能 描述 价值 性能与成本 兼容性 全面兼容开源Flink，包括各层API、参数配置及SQL语法等。更好的引擎性能和更细粒度资源配置使得整体TCO优于...
使用限制 仅Flink计算引擎VVR 2.1.5及以上版本支持Print连接器。语法结构 CREATE TABLE print_table(a INT,b varchar)WITH('connector'='print','logger'='true');您也可以基于现有的表模式使用 LIKE 子句来创建，代码示例如下。CREATE ...
2023-08-21版本
具体升级计划，请关注 实时计算控制台 页面右侧的最新公告。概述 2023年8月21日正式对外发布Flink全托管的新版本，包含引擎更新、连接器更新、性能优化以及缺陷修复。引擎侧将正式对外发布VVR 8.0.1版本，该版本是基于Apache Flink 1.17.1...
通过实时计算Flink集成向量数据
若实时计算Flink端使用开源自建版，请确保 flink-adbpg-connector 已安装在$FLINK_HOME/lib 目录下。若使用 公有云托管版，则无任何操作。AnalyticDB PostgreSQL版 数据库已安装向量检索插件FastANN。您可以在psql客户端通过 \dx fastann ...
2023-10-23版本
实时数仓Hologres RocketMQ连接器支持读写云消息队列RocketMQ版5.x版本 新增对云消息队列RocketMQ版最新版本5.x的读写支持。消息队列RocketMQ 优化minibatch和Join部分场景性能 优化minibatch和Join的性能，在CDC、去重聚合等类似操作后...
Upsert Kafka
您需要连接实时计算Flink与Kafka集群之间网络。Kafka on EMR可参见文档配置 创建和管理专有网络 和 安全组概述，云消息队列 Kafka 版 需要 配置白名单。使用限制 仅Flink计算引擎VVR 2.0.0及以上版本支持消息队列Kafka连接器。仅支持读取和...
CREATE TABLE AS（CTAS）语句
示例四：多个CTAS语句作为一个作业提交 实时计算Flink版支持使用STATEMENT SET语法将多个CTAS语句作为一个作业一起提交，并且可以对Source进行优化，复用一个Source节点读取多业务表的数据。这对于MySQL CDC数据源场景尤为适用，因为这可以...
实时计算Flink版实时消费Hologres
本文为您介绍实时计算Flink版消费Hologres的详情。使用限制 Hologres 0.10及以下版本，已存在的表无法修改表属性开启Binlog，需要重新建表。Hologres V1.1及以上版本，可以根据业务需要选择开启或关闭Binlog能力，同时支持配置TTL满足不同...
Terraform
实时计算Flink版支持接入Terraform，您可以基于Terraform平台使用和管理Flink资源。背景信息 基本功能 Terraform是一种基础设施即代码（Infrastructure as Code）工具，可以通过编写简洁的代码来定义和配置云端基础设施，而不必手动操作和...
实时计算Flink版技术场景
相关文档 什么是阿里云实时计算Flink版 功能与优势 应用场景 开通Flink全托管
2020-12-03版本
新增用户自定义连接器（User-Defined Connector）：对于系统不支持的Source或者Sink，您可以快速扩展新连接器满足需求。详情请参见 管理自定义Connectors。新增Session集群（Session-Cluster）：您可自定义Session集群，Session集群可以...
Parquet
仅对象存储OSS连接器（实时计算引擎VVR 6.0.7及以上版本）支持读取Parquet格式的数据。使用示例 利用OSS和Parquet格式创建表的示例如下。CREATE TABLE user_behavior(user_id BIGINT,item_id BIGINT,category_id BIGINT,behavior STRING,ts...
- 产品推荐
- 这些文档可能帮助您