技术支持
不支持的服务 不负责基于实时计算Flink版的业务代码实现（包括SQL、DataStream和Python作业、自定义 UDX、自定义Format和自定义连接器）、数据正确性排查、作业性能调优和业务迁移等。不负责非产品标准能力的支持，例如产品未提供的连接器...
数据总线DataHub
} 常见问题 实时计算Flink版支持的连接器列表，请参见 支持的连接器。您可以使用Kafka连接器来访问DataHub，Kafka连接器使用详情，请参见 消息队列Kafka。分裂或者缩容DataHub Topic后导致Flink作业失败，如何恢复？可以删除正在消费的...
2024-01-04版本
概述 2024年01月04日正式对外发布实时计算Flink版的引擎新版本VVR 8.0.5，包含连接器更新、性能优化以及缺陷修复。该版本是基于Apache Flink 1.17.2的企业级Flink引擎。在该版本中，我们对MySQL源表CDC在指定位点（指定偏移量和时间戳）后...
管理自定义连接器
注意事项 您需要根据社区定义的连接器标准开发您自定义的连接器，才能正确地被实时计算Flink版识别并使用，因此您需要明确连接器Meta文件和声明Factory类。自定义连接器开发详情请参见 User-defined Sources&Sinks。同种类型的连接器仅可以...
使用限制
使用限制 浏览器：仅支持通过Chrome内核的浏览器访问阿里云实时计算Flink版控制台。地域及可用区：实时计算Flink在中国和海外多个区域提供服务，每个区域有一到多个可用区，支持详情请参见 地域及可用区。资源数：包年包月工作空间开通时，...
算子探查（公测）
实时计算Flink版提供了算子探查功能，可以在不修改作业的情况下，探查选中算子的输入输出情况，帮助您更好地排查数据正确性问题。使用限制 仅支持运行中的SQL作业。仅支持实时计算引擎VVR 8.0.4及以上版本作业。不支持CTAS、CDAS作业。不...
实时数仓Hologres
升级到VVR 8.0.4及以上版本，可能抛出权限不足的异常，需要特别配置用户权限，详情见 实时计算Flink版实时消费Hologres。如果Hologres版本是2.1。升级到VVR 6.0.7～VVR 8.0.4版本，可能无法正常消费Binlog，建议升级到VVR 8.0.5。升级到VVR...
本地运行和调试包含连接器的作业
本文为您介绍如何在开发者本地环境中运行和调试包含阿里云实时计算Flink版连接器的作业，以便快速验证代码的正确性，快速定位和解决问题，并节省云上成本。背景信息 当您在Inteillij IDEA中运行和调试Flink作业，如果其包含了阿里云实时...
Terraform
实时计算Flink版支持接入Terraform，您可以基于Terraform平台使用和管理Flink资源。背景信息 基本功能 Terraform是一种基础设施即代码（Infrastructure as Code）工具，可以通过编写简洁的代码来定义和配置云端基础设施，而不必手动操作和...
数据格式
本文为您介绍Flink支持的数据格式。数据格式 数据格式 支持的连接器 JSON 消息队列Kafka、Upsert Kafka、Elasticsearch、对象存储OSS，云数据库MongoDB、StarRocks。...Parquet 对象存储OSS连接器（实时计算引擎VVR 6.0.7及以上版本）
支持的连接器
表类型的定义 阿里云实时计算Flink版通过Flink SQL定义表对上下游存储进行映射或者使用Datastream API进行连接来实现读写。支持以下几种Flink SQL表类型的定义：源表（Source Table）Flink作业的数据输入表，是计算的驱动来源。不能作为维...
OceanBase（公测中）
在无需高级特性的情况下，维表和结果表建议优先考虑MySQL连接器，配置更简单。使用OceanBase 3.2.4.4及以上版本时，源表建议优先使用MySQL连接器（因为OceanBase 3.2.4.4及以上版本MySQL模式开始支持开启Binlog服务，输出格式与原生MySQL ...
消息队列Kafka
Kafka连接器基于开源Apache Kafka客户端，为阿里云实时计算Flink提供高性能的数据吞吐、多种数据格式的读写和精确一次语义的支持。类别 详情 支持类型 源表和结果表 运行模式 流模式 数据格式 CSV JSON Apache Avro Confluent Avro ...
Blackhole
类别 详情 支持类型 结果表 运行模式 批模式和流模式 数据格式 暂不适用 特有监控指标 暂无 API种类 SQL 是否支持更新或删除结果表数据 是 使用限制 仅Flink计算引擎VVR 2.0.0及以上版本支持Blackhole连接器。语法结构 CREATE TABLE ...
社区版CDC
重要 社区版CDC连接器是遵循Apache 2.0开源协议的社区开源项目，与阿里云实时计算Flink版产品提供的商业版连接器在服务支持及SLA存在差异：在使用时，如果您遇到配置失败、作业失败或数据丢失等问题，需要到开源社区寻找对应问题的解决方案...
数据库实时入仓快速入门
实时计算Flink版提供了丰富强大的数据实时入仓能力。通过Flink的全增量自动切换、元信息自动发现、表结构变更自动同步和整库同步等功能，简化了数据实时入仓的链路，使得实时数据同步更加高效便捷。本文介绍如何快速构建一个从MySQL到...
StarRocks
CDAS可以实现整库同步或者同一库中的多表结构和数据同步，详情请参见 基于实时计算Flink使用CTAS&CDAS功能同步MySQL数据至StarRocks。前提条件 已创建StarRocks集群，包括EMR的StarRocks或基于ECS的云上自建StarRocks。使用限制 仅实时计算...
使用限制 仅Flink计算引擎VVR 2.1.5及以上版本支持Print连接器。语法结构 CREATE TABLE print_table(a INT,b varchar)WITH('connector'='print','logger'='true');您也可以基于现有的表模式使用 LIKE 子句来创建，代码示例如下。CREATE ...
实时计算Flink版技术场景
相关文档 什么是阿里云实时计算Flink版 功能与优势 应用场景 开通Flink全托管
模拟数据生成Faker
类别 详情 支持类型 源表和维表 运行模式 批模式和流模式 数据格式 不适用 特有监控指标 无 API种类 SQL 是否支持更新或删除结果表数据 不涉及 前提条件 无 使用限制 仅Flink计算引擎VVR 4.0.12及以上版本支持模拟数据生成连接器。...
使用Kafka连接器进行Kerberos认证
步骤二：上传Kerberos配置文件 登录 实时计算控制台。单击目标工作空间 操作 列下的 控制台。在左侧导航栏，单击 资源管理。单击 上传资源。选择您要上传的 krb5.conf 和 keytab 文件。后续作业配置时，如果上传后的文件名为 krb5.conf 和 ...
实时计算Flink版行业案例
相关文档 什么是阿里云实时计算Flink版 应用场景 开通Flink全托管
什么是阿里云实时计算Flink版
相关文档 什么是阿里云实时计算Flink版
实时计算Flink版应用场景
相关文档 什么是阿里云实时计算Flink版 应用场景 开通Flink全托管
实时计算Flink版技术原理
相关文档 什么是阿里云实时计算Flink版 功能与优势 基本概念 开通Flink全托管
基本概念
无 连接器（Connector）实时计算Flink版内置了丰富的连接器用于多种上下游的数据读写与同步，并支持上传和使用自定义连接器。支持的连接器 函数（Function）实时计算Flink版提供函数功能，包括内置函数和自定义函数。窗口函数概述 支持的...
PolarDB PostgreSQL版（Oracle语法兼容1.0）
使用限制 仅Flink实时计算引擎VVR 8.0.5及以上版本支持PolarDB PostgreSQL版（Oracle语法兼容1.0）连接器。语法结构 CREATE TABLE polardbo_table(id INT,len INT,content VARCHAR，PRIMARY KEY(id))WITH('connector'='polardbo','url'='...
基于Flink的实时大数据应用Demo
相关文档 什么是阿里云实时计算Flink版 应用场景 实时数仓Hologres使用流程
查看血缘关系
类别 详情 表级别 查看节点类型、连接器、Catalog名称、数据库名称、目标表和源表名称，以及作业ID，作业创建时间、创建者、最近修改时间、最近修改人等信息。字段级别 查看表字段、字段类型，以及表级别相同的数据库名称、Catalog名称和...
DataStream连接器设置方法
您可以通过以下任何一种方式来使用连接器：（推荐）上传连接器JAR包到实时计算控制台后，填写配置信息 直接将连接器作为项目依赖打进作业JAR包 重要 请使用我们在 支持的连接器 中指明提供DataStream API的连接器。如果某个连接器未注明...
产品形态
在您购买实时计算Flink版服务前，需要先了解实时计算Flink版的产品形态及特点，再根据业务选择合适的实例。本文为您介绍实时计算Flink版的产品形态区别、发布状态及选型建议。形态区别 产品形态 部署形态 计算引擎 开发平台 Flink全托管 ...
2022年及之前公告
本文为您介绍实时计算Flink版2022年及之前产品公告，包括平台升级、API版本升级等。2022年9月19日，API版本升级公告 2022年9月19日，我们对实时计算Flink版API版本进行了升级。后续将默认使用新的API版本（V2版本）为您服务。相较于V1版本...
Python作业开发
本文为您介绍Flink Python API作业开发的背景信息、使用限制、开发方法、调试方法和连接器使用等。背景信息 Flink Python作业需要您在本地完成...实时计算Flink版还支持运行SQL和DataStream作业，开发方法请参见 SQL作业开发 和 JAR作业开发。
什么是阿里云实时计算Flink版
阿里云实时计算Flink版是一套基于Apache Flink构建的⼀站式实时大数据分析平台，提供端到端亚秒级实时数据分析能力，并通过标准SQL降低业务开发门槛，助力企业向实时化、智能化大数据计算升级转型。产品概述 阿里云实时计算Flink版是一种全...
管理MongoDB Catalog（公测中）
Flink SQL类型 Boolean BOOLEAN Int32 INT Int64 BIGINT Binary BYTES Double DOUBLE Decimal128 DECIMAL String STRING ObjectId STRING DateTime TIMESTAMP_LTZ(3)Timestamp TIMESTAMP_LTZ(0)Array STRING Document STRING 相关文档 ...
2022-08-18版本
新特性 特性 详情 文档 提供文件系统结果表能力 文件系统连接器支持以某种文件格式，将分区文件流式写入到阿里云对象存储OSS中，支持设置写入分区目录结构和滚动关闭策略。文件系统结果表 性能优化 特性 详情 文档 优化MaxCompute写入性能 ...
权限管理
权限概述 实时计算Flink版支持阿里云账号、RAM用户、RAM角色、资源目录成员方式登录并访问实时计算控制台，以及进行作业开发和运维。无论您采用何种方式登录（阿里云账号访问自己所拥有的资源除外），均需要具有相应的权限才能正常进行操作...
授权信息
本文为您介绍 实时计算 Flink版（RealtimeCompute）为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。实时计算 Flink版（RealtimeCompute）的RAM代码（RamCode）为 stream，支持的授权粒度为 RESOURCE。权限策略...
授权信息
本文为您介绍 实时计算 Flink版（RealtimeCompute）为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。实时计算 Flink版（RealtimeCompute）的RAM代码（RamCode）为 stream，支持的授权粒度为 RESOURCE。权限策略...
地域及可用区
本文为您介绍阿里云地域和可用区的概念、选择指导以及阿里云实时计算Flink版支持的地域及可用区列表。背景信息 地域（Region）：指数据中心所在的地理区域，通常按照数据中心所在的城市划分。例如，华北2（北京）地域表示数据中心所在的...
- 产品推荐
- 这些文档可能帮助您