云计算资源类型
支持的云计算资源类型为：离线类：MaxCompute RDS MySQL Hive Hadoop Elastic Job PostgreSQL AnalyticDB PostgreSQL Spark On Yarn Spark Cluster Spatial Data Source HiveStorage 在线类：Elastic Service 流式类：Blink Blink ...
云监控与ARMS告警服务功能对比
实时计算Flink版支持选择云监控（免费监控服务）或ARMS可观测监控Prometheus版监控服务为您提供作业监控告警功能。本文介绍云监控和ARMS在Flink监控告警上的功能差异，您可以根据实际需要进行选择。功能对比 对比项 功能 ARMS 云监控 服务...
通过Flink SQL模式配置ETL任务
Flink SQL是ETL为了简化计算模型、降低使用门槛而设计的一套符合标准SQL语义的开发语言。相对于DAG模式（可视化拖拽方式），Flink SQL的功能更为强大，您可在Flink SQL的命令窗口中输入DAG模式暂不支持的语法。本文将介绍如何通过Flink SQL...
网络架构升级
为了提高服务质量并满足不断增长的业务需求，我们将对实时计算Flink版网络架构进行重要升级。此次升级旨在优化IP资源的使用效率，加强网络安全隔离措施，并为支持同城高可用CU类型奠定基础，为您带来更加稳健和高效的数据处理体验。您可以...
管理SLS Catalog
登录 实时计算控制台。在 Flink全托管 页签，单击目标工作空间 操作 列下的 控制台。单击 元数据管理。在 Catalog列表 页面，查看 Catalog名称 和 类型。说明 如果您需要查看Catalog下的logstore信息，请单击 查看。查看SLS LogStore 在 ...
新建BLINK_SQL任务
Checkpoint配置：配置Flink SQL任务的Checkpoint，可有效的帮助当前Flink SQL任务运行意外崩溃后，重新运行程序时恢复到崩溃前的状态。配置说明，实时模式Checkpoint配置。State配置：配置State中数据自动清理的周期。配置说明，实时模式...
自定义监控指标上报渠道
仅上报到Flink控制台外的其他渠道时 实时计算Flink版不再为您开通ARMS或云监控服务，Flink开发控制台不显示监控指标，您可以在对应的指标上报的平台进行查看。在Flink开发控制台已有的告警配置会失效（详情请参见 配置监控告警），后续也...
2023-02-20版本
管理Hologres Catalog CREATE TABLE AS（CTAS）语句 Flink SQL CEP支持Group Pattern和NO SKIP的单个元素多次匹配 支持类似A(B C)+的Group模式和A B{4,10}?的NO SKIP模式。复杂事件处理（CEP）语句 SLS Connector支持指定Bucket数量和从...
配置开源Flink实时模式资源
开源Flink流批一体任务实时模式的资源配置支持配置任务的生产环境和开发的资源队列、引擎版本以及任务的并行读度、Task Manager数量、Job Manager Momory和Task Manager Momory。本文为您介绍如何配置流批一体任务实时模式的资源配置。操作...
双流JOIN语句
双流JOIN hints 从实时计算引擎VVR 8.0.1 开始，您可以通过 Flink SQL Hint 语法 单独为双流JOIN的左右流状态设置不同生命周期(TTL)来减少维护的状态大小。语法 SELECT/*+JOIN_STATE_TTL('tableReference1'='ttl1'[,'tableReference2'='ttl...
代码模板
创建临时视图 如果您需要在Flink SQL开发过程中，重用代码，组织长查询或者SQL脚本来简化开发，则可以使用临时视图。INSERT INTO 如果您需要将查询结果写入到外部存储系统中的表，从而提供给下游应用程序，则可以使用INSERT INTO语法。...
概述
实时计算Flink版支持在Flink SQL作业中使用Java自定义函数，本文介绍Flink Java自定义函数的分类、参数传递及调用注意事项。注意事项 为了避免JAR包依赖冲突，在开发自定义函数时您需要注意以下几点：SQL开发页面选择的Flink版本，请和Pom...
2022-05-16版本
无 新增产品公告能力 实时计算Flink版在作业控制台上新增了产品公告的能力，您可以直接接收到包括产品升级在内的各种用户须知信息。这样可以有效避免通过短信、站内信、钉钉群等途径无法完全触达终端用户的问题。无 UI优化 支持全新阿里云...
概述
当前Flink SQL已经可以帮助您支持各种流计算场景。为了满足开发迭代需求或业务发展需求，SQL作业也需要不断变更，否则修改SQL作业后，并使用原来的状态数据重启作业，会出现状态不兼容的问题。从vvr-4.0.11-flink-1.13版本开始，Flink全...
编码规范
禁止发布使用Flink原生DDL的任务到生产环境 系统计算设置已绑定实时计算引擎，且允许使用Flink原生DDL语句时才可设置。默认为 否。该配置选择 是，在Flink SQL计算任务中有 Flink原生 DDL语句的将无法发布到生产环境。说明 如果项目为Basic...
编码规范
禁止发布使用Flink原生DDL的任务到生产环境 系统计算设置已绑定实时计算引擎，且允许使用Flink原生DDL语句时才可设置。默认为 否。该配置选择 是，在Flink SQL计算任务中有 Flink原生 DDL语句的将无法发布到生产环境。说明 如果项目为Basic...
Flink JAR作业快速入门
本文带您快速体验Flink JAR流作业和批作业的创建、部署和启动，以了解实时计算Flink版JAR作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 权限管理。已创建Flink工作空间...
资源调整
实时计算Flink版支持对工作空间和项目空间的资源进行调整。您可以创建多个项目空间，为每个项目空间分配单独的资源和权限，通过项目空间实现资源和权限的完全隔离。本文为您介绍如何进行工作空间和项目空间的资源调整。注意事项 当RAM用户...
API概览
本产品（实时计算 Flink版/2022-07-18）的OpenAPI采用 ROA 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求...
Flink全托管资源管理
Flink全托管资源 阿里云实时计算Flink版是阿里云基于Apache Flink构建的一站式实时大数据分析平台，提供端到端亚秒级实时数据分析能力，有关Flink全托管资源的详细信息请参见 Flink全托管资源概述。前提条件 在开始执行操作之前，请确认您...
实时数据集成的连接器
本文介绍如何使用实时计算Flink版集成物联网平台数据的连接器（IoT Connector）。下载连接器（IoT Connector）连接器文件：iot-flink-connector-source.jar。支持的数据类型 数据类型 物联网平台存储表的数据类型 Flink配置的数据类型 整型...
2023-08-21版本
具体升级计划，请关注 实时计算控制台 页面右侧的最新公告。概述 2023年8月21日正式对外发布Flink全托管的新版本，包含引擎更新、连接器更新、性能优化以及缺陷修复。引擎侧将正式对外发布VVR 8.0.1版本，该版本是基于Apache Flink 1.17.1...
按量付费
按量付费是一种后付费的计费模式，无需您提前购买大量资源，系统会根据您工作空间实际的资源使用量进行结算。本文将为您介绍按量付费的计费规则、不同地域的单价以及停止计费的相关信息。...开通工作空间操作，请参见 开通实时计算Flink版。
从Flink SQL导入
本文介绍如何使用Flink SQL方式将Flink中的数据写入 云数据库ClickHouse。使用限制 只有Flink计算引擎VVR 3.0.2及以上版本支持使用Flink SQL写入 云数据库ClickHouse。前提条件 已在 云数据库ClickHouse 中创建表。更多信息，请参见 创建表...
数据同步模版
您可以使用数据同步模版帮您快速生成数据同步的Flink SQL作业代码。本文为您介绍如何使用多库多表同步或者分库分表合并模版实现数据同步。背景信息 Flink全托管支持多库多表同步和分库分表合并两种数据同步方式，二者的区别请参见下表。...
配置数据聚合
您可以将数据聚合节点类比为Flink SQL的窗口函数，该节点的作用是将解析任务中流转的消息按照窗口进行聚合计算。通过该节点聚合生成多样化的数据，可用于后续分析或输出。使用说明 目前支持的Flink SQL的窗口函数规则为滚动时间窗口...
自定义聚合函数（UDAF）
方式二：先将自定义函数JAR包上传至Flink SQL开发 右侧的 更多配置 的 附加依赖文件 选项，再在作业的SQL语句中添加创建临时函数的语句，并使用该函数。上传自定义函数JAR包到附加依赖文件中后，只能在本作业中使用该自定义函数，其他作业...
高性能Flink SQL优化技巧
本文将从作业配置和Flink SQL优化两方面为您介绍如何提升Flink SQL作业性能。作业配置优化推荐方案 资源优化技巧 VVP中限制了JobManager和TaskManager的CPU的实际使用大小，配置了多少个CPU，最大就只能使用多少个CPU。因此在资源优化时，...
数据开发概述
实时引擎适配功能说明 功能特性 Blink Ververica Flink 适配离线引擎 MaxCompute MaxCompute 自定义数据源 支持 待支持 元表 支持 支持 镜像表 支持 支持 任务调试 支持 支持 测试表 支持 支持 Flink SQL任务 支持 支持 Flink SQL任务粗...
新建元表
若元表的Flink SQL字段类型与原始字段类型为多对一，则需选择Flink SQL字段类型。由Flink SQL字段类型映射出原始字段类型，此时原始字段类型只作展示，无法进行编辑，例如Kafka。如果此种数据源的Flink SQL字段类型与原始字段类型为一对多...
JSON
Flink SQL类型 JSON类型 CHAR/VARCHAR/STRING string BOOLEAN boolean BINARY/VARBINARY string with encoding:base64 DECIMAL number TINYINT number SMALLINT number INT number BIGINT number FLOAT number DOUBLE number DATE string ...
CSV
Flink SQL类型 CSV类型 CHAR/VARCHAR/STRING string BOOLEAN boolean BINARY/VARBINARY string with encoding:base64 DECIMAL number TINYINT number SMALLINT number INT number BIGINT number FLOAT number DOUBLE number DATE string ...
管理AnalyticDB MySQL（ADB）Catalog
AnalyticDB MySQL Catalog提供的表可以直接作为Flink SQL作业中的AnalyticDB 3.0维表和AnalyticDB 3.0结果表。本文将从以下方面为您介绍如何管理AnalyticDB MySQL Catalog：创建AnalyticDB MySQL Catalog 查看AnalyticDB MySQL Catalog ...
配置Ververica Flink实时模式资源
资源配置类型 系统推荐配置 即实时计算Flink配置细粒度资源的智能模式（BETA），智能模式为专家模式的升级版。在智能模式下，作业将启用专家模式的资源配置，同时开启AutoPilot自动调优功能。在智能配置模式下，您无需配置相关资源，...
配置Ververica Flink实时模式资源
资源配置类型 系统推荐配置 即实时计算Flink配置细粒度资源的智能模式（BETA），智能模式为专家模式的升级版。在智能模式下，作业将启用专家模式的资源配置，同时开启AutoPilot自动调优功能。在智能配置模式下，您无需配置相关资源，...
概述
边缘端SQL语法与云端Flink SQL语法完全一致，语法说明请参见 Flink SQL概述。在流数据分析中，数据存储用源表、维表、结果表来表示。但由于运行环境不一样，边缘端与云端支持的数据存储大部分是不相同的。类型 描述 源表 流式数据存储，...
自定义标量函数（UDSF）
Flink SQL作业开发。详情请参见 作业开发。获取ASI_UDSF_Source表中a字段中每行字符串中第2~4位的字符，代码示例如下。CREATE TEMPORARY TABLE ASI_UDSF_Source(a VARCHAR,b INT,c INT)WITH('connector'='datagen');CREATE TEMPORARY TABLE...
新建元表
若元表的Flink SQL字段类型与原始字段类型为多对一，则需选择Flink SQL字段类型。由Flink SQL字段类型映射出原始字段类型，此时原始字段类型只作展示，无法进行编辑，例如Kafka。如果此种数据源的Flink SQL字段类型与原始字段类型为一对多...
基于Paimon的数据库实时入湖快速入门
目前阿里云实时计算Flink版，以及开源大数据平台E-MapReduce上常见的计算引擎（例如Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者OSS上构建自己的数据湖存储服务，并接入计算引擎实现数据...
Canal
在很多情况下，利用Canal这个特性非常的有用，例如：将增量数据从数据库同步到其他系统 日志审计 数据库的实时物化视图 数据库表的temporal join变更历史 Flink还支持将Flink SQL中的INSERT、UPDATE或DELETE消息编码为Canal格式的JSON消息...
- 产品推荐
- 这些文档可能帮助您