日志服务SLS
说明 实时计算Flink版默认不具备访问公网的能力，但阿里云提供的NAT网关可以实现VPC网络与公网网络互通，详情请参见 Flink全托管如何访问公网？project SLS项目名称。String 是 无 无。logStore SLS LogStore或metricstore名称。String 是 ...
2023-08-21版本
具体升级计划，请关注 实时计算控制台 页面右侧的最新公告。概述 2023年8月21日正式对外发布Flink全托管的新版本，包含引擎更新、连接器更新、性能优化以及缺陷修复。引擎侧将正式对外发布VVR 8.0.1版本，该版本是基于Apache Flink 1.17.1...
通过实时计算Flink集成向量数据
若实时计算Flink端使用开源自建版，请确保 flink-adbpg-connector 已安装在$FLINK_HOME/lib 目录下。若使用 公有云托管版，则无任何操作。AnalyticDB PostgreSQL版 数据库已安装向量检索插件FastANN。您可以在psql客户端通过 \dx fastann ...
实时数仓Hologres
从VVR 3.0.0版本开始，支持实时消费Hologres数据，详情请参见 实时计算Flink版实时消费Hologres。从VVR 6.0.3版本开始，Hologres源表在批模式读取时支持filter下推，详见源表独有参数 enable_filter_push_down。Hologres CDC模式暂不支持...
基于Paimon的数据库实时入湖快速入门
目前阿里云实时计算Flink版，以及开源大数据平台E-MapReduce上常见的计算引擎（例如Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者OSS上构建自己的数据湖存储服务，并接入计算引擎实现数据...
2023-10-23版本
实时数仓Hologres RocketMQ连接器支持读写云消息队列RocketMQ版5.x版本 新增对云消息队列RocketMQ版最新版本5.x的读写支持。消息队列RocketMQ 优化minibatch和Join部分场景性能 优化minibatch和Join的性能，在CDC、去重聚合等类似操作后...
Upsert Kafka
您需要连接实时计算Flink与Kafka集群之间网络。Kafka on EMR可参见文档配置 创建和管理专有网络 和 安全组概述，云消息队列 Kafka 版 需要 配置白名单。使用限制 仅Flink计算引擎VVR 2.0.0及以上版本支持消息队列Kafka连接器。仅支持读取和...
实时计算Flink版实时消费Hologres
本文为您介绍实时计算Flink版消费Hologres的详情。使用限制 Hologres 0.10及以下版本，已存在的表无法修改表属性开启Binlog，需要重新建表。Hologres V1.1及以上版本，可以根据业务需要选择开启或关闭Binlog能力，同时支持配置TTL满足不同...
CREATE TABLE AS（CTAS）语句
示例四：多个CTAS语句作为一个作业提交 实时计算Flink版支持使用STATEMENT SET语法将多个CTAS语句作为一个作业一起提交，并且可以对Source进行优化，复用一个Source节点读取多业务表的数据。这对于MySQL CDC数据源场景尤为适用，因为这可以...
2020-12-03版本
新增用户自定义连接器（User-Defined Connector）：对于系统不支持的Source或者Sink，您可以快速扩展新连接器满足需求。详情请参见 管理自定义Connectors。新增Session集群（Session-Cluster）：您可自定义Session集群，Session集群可以...
Parquet
仅对象存储OSS连接器（实时计算引擎VVR 6.0.7及以上版本）支持读取Parquet格式的数据。使用示例 利用OSS和Parquet格式创建表的示例如下。CREATE TABLE user_behavior(user_id BIGINT,item_id BIGINT,category_id BIGINT,behavior STRING,ts...
SQL作业开发
相关的使用场景和使用方法详情如下：支持的连接器 密钥管理 管理自定义连接器 管理自定义函数（UDF）管理元数据 操作步骤 登录Flink全托管控制台，新建作业。登录 实时计算控制台。在 Flink全托管 页签，单击目标工作空间 操作 列下的 控制...
模拟数据生成Faker
类别 详情 支持类型 源表和维表 运行模式 批模式和流模式 数据格式 不适用 特有监控指标 无 API种类 SQL 是否支持更新或删除结果表数据 不涉及 前提条件 无 使用限制 仅Flink计算引擎VVR 4.0.12及以上版本支持模拟数据生成连接器。...
2023-02-20版本
功能介绍 特性 详情 相关文档 Flink CDC 实时数据入湖入仓支持非严格的类型对应 您在使用CDAS、CTAS语法进行数据入湖入仓时上下游的列类型可以在兼容的情况下不严格对应，避免不必要的报错，目前支持此功能的下游为Hologres。管理Hologres ...
Datagen
类别 详情 支持类型 源表 运行模式 批模式和流模式 数据格式 暂不适用 特有监控指标 暂无 API种类 SQL 是否支持更新或删除结果表数据 不涉及 使用限制 仅Flink计算引擎VVR 2.0.0及以上版本支持Datagen连接器。语法结构 CREATE TABLE ...
管理Hologres Catalog
实时计算Flink版仅支持读写Hologres内表，因此Hologres实例必须是独占实例，不支持 Hologres共享集群实例。创建Hologres Catalog 支持UI与SQL命令两种方式配置Hologres Catalog，推荐使用UI方式配置Hologres Catalog。UI方式（推荐）进入...
监控指标说明
本文为您介绍Flink全托管支持的监控指标详情。注意事项 Source端的指标表现并不是判断问题根源的充分条件，只反映了Source当前的工作状况，您仍然需要其他辅助指标或工具来判断问题的根源。常见问题的指标表现如下。场景 详情 作业中某些算...
JDBC
使用限制 仅实时计算引擎VVR 6.0.1及以上版本支持JDBC连接器。JDBC源表为Bounded Source，表中数据读取完，对应的Task就会结束。如果需要捕获实时变更数据，则请使用CDC连接器，详情请参见 MySQL的CDC源表 和 Postgres的CDC源表（公测中）...
维表JOIN语句
对于每条流式数据，可以关联一个外部维表数据源，为实时计算Flink版提供数据关联查询。背景信息 大部分连接器的维表Join都可以使用Cache策略，不同连接器对Cache策略的支持情况稍有不同，请查看对应的连接器文档确定具体的支持情况。通用的...
PolarDB PostgreSQL版（Oracle语法兼容1.0）
使用限制 仅Flink实时计算引擎VVR 8.0.5及以上版本支持PolarDB PostgreSQL版（Oracle语法兼容1.0）连接器。语法结构 CREATE TABLE polardbo_table(id INT,len INT,content VARCHAR，PRIMARY KEY(id))WITH('connector'='polardbo','url'='...
使用内置公开数据集快速体验实时计算Flink版
本文为您介绍如何基于阿里云实时计算Flink版内置的GitHub公开事件样例数据，快速体验实时计算Flink版产品的实时数据分析功能。注意事项 如果您是实时计算Flink版新用户，可以申请该产品的免费资源包，免费试用体验实时计算Flink版产品的...
OceanBase（公测中）
具体操作可参考以下文档：MySQL模式 CREATE DATABASE CREATE TABLE Oracle模式 CREATE USER CREATE TABLE 使用限制 维表和结果表 Flink计算引擎VVR 8.0.1及以上版本支持OceanBase连接器。语义上可以保证At-Least-Once，在结果表有主键的...
配置自动调优
实时计算Flink版提供了自动调优功能，您可以根据以下信息，选择合适的调优模式。调优模式 适用场景 使用优势 相关文档 智能调优 某作业使用资源30 CU，上线平稳运行一段后，发现在Source无延迟、无反压的情况下，作业的CPU和内存使用率有时...
查看血缘关系
类别 详情 表级别 查看节点类型、连接器、Catalog名称、数据库名称、目标表和源表名称，以及作业ID，作业创建时间、创建者、最近修改时间、最近修改人等信息。字段级别 查看表字段、字段类型，以及表级别相同的数据库名称、Catalog名称和...
消息队列Kafka
Kafka连接器基于开源Apache Kafka客户端，为阿里云实时计算Flink提供高性能的数据吞吐、多种数据格式的读写和精确一次语义的支持。类别 详情 支持类型 源表和结果表 运行模式 流模式 数据格式 CSV JSON Apache Avro Confluent Avro ...
Maxwell
背景信息 Maxwell 是一个CDC(Changelog Data Capture，变更数据获取）工具，可以把来自MySQL的更改实时流传输到Kafka、Kinesis和其他流连接器中。Maxwell为变更日志提供了统一的格式结构，并支持使用JSON序列化消息。支持Maxwell格式的连接...
时序数据库InfluxDB
本文为您介绍如何使用时序数据库InfluxDB连接器。背景信息 时序数据库InfluxDB®版是一款专门处理高写入和查询负载的时序数据库，用于存储大规模的时序数据并进行实时分析，包括来自DevOps监控、应用指标和IoT传感器上的数据。时序数据库...
SQL常见问题
本文为您介绍实时计算Flink版的SQL常见问题，包括作业常见问题、开发报错、运维报错。为什么使用POJO类作为UDTF返回类型时字段会出现“错位”?为什么数据在LocalGroupAggregate节点中长时间卡住，无输出？运行拓扑图中显示的Low Watermark...
对象存储OSS
本文为您介绍如何使用对象存储OSS连接器。阿里云 对象存储OSS（Object Storage Service）是一款海量、安全、低成本和高可靠的云存储服务，可提供99.9999999999%（12个9）的数据持久性，99.995%的数据可用性。多种存储类型供选择，全面优化...
分场景排错指引
本文为您介绍实时计算Flink版分场景排错指引方面的常见问题，包括权限、运维和数据异常等问题。权限 不小心删除了角色或者变更了授权策略，导致Flink全托管服务不可用怎么办？运维 JobManager没有运行起来，如何快速定位问题？Python作业，...
表格存储Tablestore（OTS）
使用限制 仅实时计算引擎VVR 3.0.0及以上版本支持表格存储Tablestore连接器。语法结构 结果表 CREATE TABLE ots_sink(name VARCHAR,age BIGINT,birthday BIGINT,primary key(name,age)not enforced)WITH('connector'='ots','instanceName'=...
密钥管理
新增密钥 登录 实时计算控制台，在 Flink全托管 页签，单击目标工作空间 操作 列下的 控制台。在 安全中心 页面，单击 密钥托管 页签。单击 新增密钥，填写 密钥名称 和 密钥值。重要 密钥值 的字母大小写敏感，请注意密钥值的字母大小写。...
管理DLF Catalog
在 使用内置连接器连接 页签，单击 连接方式，选择表类型。单击 下一步。填写建表语句并配置相关参数信息。代码示例如下。CREATE DATABASE dlf.dlf_testdb;CREATE TABLE dlf.dlf_testdb.iceberg(id BIGINT,data STRING,dt STRING)...
云数据库Redis
本文为您介绍如何使用云数据库Redis连接器。背景信息 阿里云数据库Redis是兼容开源Redis协议标准、提供内存加硬盘混合存储的数据库服务，基于高可靠双机热备架构及可平滑扩展的集群架构，充分满足高吞吐、低延迟及弹性变配的业务需求，更多...
作业启动
说明 不是所有连接器都支持 startTime，详情请参见各连接器WITH参数是否包含 startTime，例如 日志服务SLS WITH参数。只有全新启动作业并指定了 startTime，startTime 才生效。如果基于系统检查点或作业快照启动作业，即使指定了 startTime...
JSON
支持JSON格式的连接器有：消息队列Kafka、Upsert Kafka、Elasticsearch、对象存储OSS，云数据库MongoDB 和 StarRocks 等。使用示例 利用Kafka以及JSON格式构建表的示例如下。CREATE TABLE Orders(orderId INT,product STRING,orderInfo MAP...
云原生数据仓库AnalyticDB MySQL版（ADB）3.0
本文为您介绍如何使用云原生数据仓库AnalyticDB MySQL版3.0连接器。背景信息 云原生数据仓库AnalyticDB MySQL版3.0 是融合数据库、大数据技术于一体的云原生企业级数据仓库服务。AnalyticDB MySQL版支持高吞吐的数据实时增删改、低延时的...
产品形态
在您购买实时计算Flink版服务前，需要先了解实时计算Flink版的产品形态及特点，再根据业务选择合适的实例。本文为您介绍实时计算Flink版的产品形态区别、发布状态及选型建议。形态区别 产品形态 部署形态 计算引擎 开发平台 Flink全托管 ...
Canal
支持Canal格式的连接器有 消息队列Kafka 和 对象存储OSS。Flink支持将Canal的JSON消息解析为INSERT、UPDATE或DELETE消息到Flink SQL系统中。在很多情况下，利用Canal这个特性非常的有用，例如：将增量数据从数据库同步到其他系统 日志审计 ...
Debezium
支持Debezium格式的连接器有 消息队列Kafka 和 对象存储OSS。Flink支持将Debezium JSON和Avro消息解析为INSERT、UPDATE或DELETE消息到Flink SQL系统中。在很多情况下，利用这个特性非常的有用，例如：将增量数据从数据库同步到其他系统 ...
- 产品推荐
- 这些文档可能帮助您