本地运行和调试包含连接器的作业
本文为您介绍如何在开发者本地环境中运行和调试包含阿里云实时计算Flink版连接器的作业，以便快速验证代码的正确性，快速定位和解决问题，并节省云上成本。背景信息 当您在Inteillij IDEA中运行和调试Flink作业，如果其包含了阿里云实时...
基本概念
无 连接器（Connector）实时计算Flink版内置了丰富的连接器用于多种上下游的数据读写与同步，并支持上传和使用自定义连接器。支持的连接器 函数（Function）实时计算Flink版提供函数功能，包括内置函数和自定义函数。窗口函数概述 支持的...
JAR作业开发
您可以上传您自己开发的连接器，也可以上传实时计算Flink版提供的连接器（下载地址请参见 Connector列表）。重要 因近期Maven中心仓库目录更新问题，最新版本（例如Flink 1.17-vvr-8.0.4-1）的连接器JAR包可能没有在 一层目录 里，您可以...
技术支持
不支持的服务 不负责基于实时计算Flink版的业务代码实现（包括SQL、DataStream和Python作业、自定义 UDX、自定义Format和自定义连接器）、数据正确性排查、作业性能调优和业务迁移等。不负责非产品标准能力的支持，例如产品未提供的连接器...
Postgres CDC（公测中）
相关文档 实时计算Flink版支持的连接器列表，请参见 支持的连接器。将数据写入PolarDB PostgreSQL版（Oracle语法兼容1.0）结果表，请参见 PolarDB PostgreSQL版（Oracle语法兼容1.0）。如果您需要读写RDS MySQL、PolarDB for MySQL或者自建...
数据总线DataHub
} 常见问题 实时计算Flink版支持的连接器列表，请参见 支持的连接器。您可以使用Kafka连接器来访问DataHub，Kafka连接器使用详情，请参见 消息队列Kafka。分裂或者缩容DataHub Topic后导致Flink作业失败，如何恢复？可以删除正在消费的...
社区版CDC
重要 社区版CDC连接器是遵循Apache 2.0开源协议的社区开源项目，与阿里云实时计算Flink版产品提供的商业版连接器在服务支持及SLA存在差异：在使用时，如果您遇到配置失败、作业失败或数据丢失等问题，需要到开源社区寻找对应问题的解决方案...
基于Flink+Hologres搭建实时数仓
本文介绍如何通过实时计算Flink版和实时数仓Hologres搭建实时数仓。背景信息 随着社会数字化发展，企业对数据时效性的需求越来越强烈。除传统的面向海量数据加工场景设计的离线场景外，大量业务需要解决面向实时加工、实时存储、实时分析的...
管理自定义Catalog
说明 支持使用其他服务的HTTP路径，需要该服务和实时计算Flink版在同一VPC下或者先打通实时计算Flink版和目标服务的公网网络链接后使用公网地址。详情请参见 Flink全托管集群如何访问公网？单击 下一步。确认Properties信息后，单击 确定。...
管理自定义连接器
注意事项 您需要根据社区定义的连接器标准开发您自定义的连接器，才能正确地被实时计算Flink版识别并使用，因此您需要明确连接器Meta文件和声明Factory类。自定义连接器开发详情请参见 User-defined Sources&Sinks。同种类型的连接器仅可以...
通过Flink读写云原生数据仓库AnalyticDB PostgreSQL版...
本文介绍如何通过阿里云实时计算Flink版实时读写云原生数据仓库 AnalyticDB PostgreSQL版 数据。背景信息 云原生数据仓库AnalyticDB PostgreSQL版 是一种大规模并行处理（MPP）数据仓库服务，可提供海量数据在线分析服务。实时计算Flink版 ...
使用限制
使用限制 浏览器：仅支持通过Chrome内核的浏览器访问阿里云实时计算Flink版控制台。地域及可用区：实时计算Flink在中国和海外多个区域提供服务，每个区域有一到多个可用区，支持详情请参见 地域及可用区。资源数：包年包月工作空间开通时，...
使用内置公开数据集快速体验实时计算Flink版
本文为您介绍如何基于阿里云实时计算Flink版内置的GitHub公开事件样例数据，快速体验实时计算Flink版产品的实时数据分析功能。注意事项 如果您是实时计算Flink版新用户，可以申请该产品的免费资源包，免费试用体验实时计算Flink版产品的...
Flink JAR作业快速入门
本文带您快速体验Flink JAR流作业和批作业的创建、部署和启动，以了解实时计算Flink版JAR作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 权限管理。已创建Flink工作空间...
数据格式
本文为您介绍Flink支持的数据格式。数据格式 数据格式 支持的连接器 JSON 消息队列Kafka、Upsert Kafka、Elasticsearch、对象存储OSS，云数据库MongoDB、StarRocks。...Parquet 对象存储OSS连接器（实时计算引擎VVR 6.0.7及以上版本）
2023-04-13版本
作为预览型功能，自本版本起，阿里云实时计算Flink提供了Apache Paimon(incubating)，这是一项流式数据湖存储技术，提供高吞吐、低延迟的数据摄入、流式订阅和实时查询能力。平台侧将进行多项常用功能的改版，更改了产品控制台的一级目录和...
支持的连接器
表类型的定义 阿里云实时计算Flink版通过Flink SQL定义表对上下游存储进行映射或者使用Datastream API进行连接来实现读写。支持以下几种Flink SQL表类型的定义：源表（Source Table）Flink作业的数据输入表，是计算的驱动来源。不能作为维...
Flink Python作业快速入门
本文带您快速体验Flink Python流作业和批作业的创建、部署和启动，以了解实时计算Flink版Python作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 权限管理。已创建Flink...
Blackhole
类别 详情 支持类型 结果表 运行模式 批模式和流模式 数据格式 暂不适用 特有监控指标 暂无 API种类 SQL 是否支持更新或删除结果表数据 是 使用限制 仅Flink计算引擎VVR 2.0.0及以上版本支持Blackhole连接器。语法结构 CREATE TABLE ...
2024-01-04版本
概述 2024年01月04日正式对外发布实时计算Flink版的引擎新版本VVR 8.0.5，包含连接器更新、性能优化以及缺陷修复。该版本是基于Apache Flink 1.17.2的企业级Flink引擎。在该版本中，我们对MySQL源表CDC在指定位点（指定偏移量和时间戳）后...
MongoDB（公测中）
已创建MongoDB数据库和表 已设置IP白名单 使用限制 CDC源表 实时计算Flink VVR 8.0.1及以上版本支持使用MongoDB CDC连接器。MongoDB 6.0及以上版本支持产生Full Changelog事件流。MongoDB 4.0及以上版本支持指定时间戳的启动模式。结果表 ...
2023-06-21版本
具体升级计划，请关注 实时计算控制台 页面右侧的最新公告。概述 2023年6月21日正式对外发布Flink全托管的新版本，包含平台改版和引擎更新、连接器更新、性能优化以及缺陷修复。引擎侧将正式对外发布VVR 6.0.7版本，该版本是基于Apache ...
使用限制 仅Flink计算引擎VVR 2.1.5及以上版本支持Print连接器。语法结构 CREATE TABLE print_table(a INT,b varchar)WITH('connector'='print','logger'='true');您也可以基于现有的表模式使用 LIKE 子句来创建，代码示例如下。CREATE ...
2023-10-23版本
实时数仓Hologres RocketMQ连接器支持读写云消息队列RocketMQ版5.x版本 新增对云消息队列RocketMQ版最新版本5.x的读写支持。消息队列RocketMQ 优化minibatch和Join部分场景性能 优化minibatch和Join的性能，在CDC、去重聚合等类似操作后...
2023-08-21版本
具体升级计划，请关注 实时计算控制台 页面右侧的最新公告。概述 2023年8月21日正式对外发布Flink全托管的新版本，包含引擎更新、连接器更新、性能优化以及缺陷修复。引擎侧将正式对外发布VVR 8.0.1版本，该版本是基于Apache Flink 1.17.1...
产品形态
在您购买实时计算Flink版服务前，需要先了解实时计算Flink版的产品形态及特点，再根据业务选择合适的实例。本文为您介绍实时计算Flink版的产品形态区别、发布状态及选型建议。形态区别 产品形态 部署形态 计算引擎 开发平台 Flink全托管 ...
SQL作业开发
相关的使用场景和使用方法详情如下：支持的连接器 密钥管理 管理自定义连接器 管理自定义函数（UDF）管理元数据 操作步骤 登录Flink全托管控制台，新建作业。登录 实时计算控制台。在 Flink全托管 页签，单击目标工作空间 操作 列下的 控制...
模拟数据生成Faker
类别 详情 支持类型 源表和维表 运行模式 批模式和流模式 数据格式 不适用 特有监控指标 无 API种类 SQL 是否支持更新或删除结果表数据 不涉及 前提条件 无 使用限制 仅Flink计算引擎VVR 4.0.12及以上版本支持模拟数据生成连接器。...
2023-12-07版本
管理资源队列 任务编排（公测）通过可视化的操作界面轻松地编排批作业运行的顺序，调度批作业任务的运行，高效构建数据仓库，在实时计算Flink版平台实现开发、调度、部署和运维一体化。任务编排（公测）查询脚本 可以在查询脚本中通过DDL、...
Datagen
类别 详情 支持类型 源表 运行模式 批模式和流模式 数据格式 暂不适用 特有监控指标 暂无 API种类 SQL 是否支持更新或删除结果表数据 不涉及 使用限制 仅Flink计算引擎VVR 2.0.0及以上版本支持Datagen连接器。语法结构 CREATE TABLE ...
维表JOIN语句
对于每条流式数据，可以关联一个外部维表数据源，为实时计算Flink版提供数据关联查询。背景信息 大部分连接器的维表Join都可以使用Cache策略，不同连接器对Cache策略的支持情况稍有不同，请查看对应的连接器文档确定具体的支持情况。通用的...
配置自动调优
实时计算Flink版提供了自动调优功能，您可以根据以下信息，选择合适的调优模式。调优模式 适用场景 使用优势 相关文档 智能调优 某作业使用资源30 CU，上线平稳运行一段后，发现在Source无延迟、无反压的情况下，作业的CPU和内存使用率有时...
大数据计算服务MaxCompute
使用限制 仅实时计算引擎VVR 2.0.0及以上版本支持MaxCompute连接器。MaxCompute连接器仅支持At Least Once语义。说明 At Least Once语义会保证数据不缺失，但在少部分情况下，可能会将重复数据写入MaxCompute。不同的MaxCompute Tunnel出现...
OceanBase（公测中）
具体操作可参考以下文档：MySQL模式 CREATE DATABASE CREATE TABLE Oracle模式 CREATE USER CREATE TABLE 使用限制 维表和结果表 Flink计算引擎VVR 8.0.1及以上版本支持OceanBase连接器。语义上可以保证At-Least-Once，在结果表有主键的...
Maxwell
背景信息 Maxwell 是一个CDC(Changelog Data Capture，变更数据获取）工具，可以把来自MySQL的更改实时流传输到Kafka、Kinesis和其他流连接器中。Maxwell为变更日志提供了统一的格式结构，并支持使用JSON序列化消息。支持Maxwell格式的连接...
密钥管理
新增密钥 登录 实时计算控制台，在 Flink全托管 页签，单击目标工作空间 操作 列下的 控制台。在 安全中心 页面，单击 密钥托管 页签。单击 新增密钥，填写 密钥名称 和 密钥值。重要 密钥值 的字母大小写敏感，请注意密钥值的字母大小写。...
Canal
支持Canal格式的连接器有 消息队列Kafka 和 对象存储OSS。Flink支持将Canal的JSON消息解析为INSERT、UPDATE或DELETE消息到Flink SQL系统中。在很多情况下，利用Canal这个特性非常的有用，例如：将增量数据从数据库同步到其他系统 日志审计 ...
什么是阿里云实时计算Flink版
阿里云实时计算Flink版是一套基于Apache Flink构建的⼀站式实时大数据分析平台，提供端到端亚秒级实时数据分析能力，并通过标准SQL降低业务开发门槛，助力企业向实时化、智能化大数据计算升级转型。产品概述 阿里云实时计算Flink版是一种全...
Debezium
支持Debezium格式的连接器有 消息队列Kafka 和 对象存储OSS。Flink支持将Debezium JSON和Avro消息解析为INSERT、UPDATE或DELETE消息到Flink SQL系统中。在很多情况下，利用这个特性非常的有用，例如：将增量数据从数据库同步到其他系统 ...
Terraform
实时计算Flink版支持接入Terraform，您可以基于Terraform平台使用和管理Flink资源。背景信息 基本功能 Terraform是一种基础设施即代码（Infrastructure as Code）工具，可以通过编写简洁的代码来定义和配置云端基础设施，而不必手动操作和...
- 产品推荐
- 这些文档可能帮助您