REGEXP
使用限制 仅实时计算引擎VVR 3.0.0及以上版本支持REGEXP函数。语法 BOOLEAN REGEXP(VARCHAR str,VARCHAR pattern)入参 参数 数据类型 说明 str VARCHAR 指定的字符串。pattern VARCHAR 指定的匹配模式。说明 如果str或pattern为NULL，则...
Flink CDC技术
相关文档 数据库实时入仓快速入门 日志实时入仓快速入门 CDC问题
其他限制
当前作业的Flink版本和产生Checkpoint或Savepoint对应作业的Flink版本要求相同，不同的Flink版本当前不支持状态兼容性检查。当前作业的依赖和产生Checkpoint或Savepoint对应作业的依赖要求能兼容。当前系统无法识别自定义Connector、自定义...
功能发布记录
Flink产品重大变更或者活动公告信息请在 实时计算控制台 或者 实时计算Flink版产品公告 上进行查看。企业级状态后端存储GeminiStateBackend，以及其与RocksDBStateBackend的性能对比情况，请参见 企业级状态后端存储介绍。
2022-03-04版本
支持使用Flink CDC打通数据库整库入湖，并自动同步表结构变更。集成阿里云OSS和DLF等组件，完善数据在计算引擎间的连通性。管理DLF Catalog AUTO OPTIMIZE语句 Hudi结果表 提升日志查看和设置的易用性 新增日志分页显示。在作业探查页签中...
管理自定义函数（UDF）
为了避免JAR包依赖冲突，在开发自定义函数时您需要注意以下几点：作业开发页面选择的Flink版本，请和Pom依赖中的Flink版本保持一致。Flink相关依赖，scope请使用provided，即在依赖中添加<scope>provided</scope>。其他第三方依赖请采用...
Table/SQL JAR迁移至SQL
实时计算Flink全托管版集群内置了商业化的RDS Connector，您也可以替换为开源JDBC Connector。商业化的RDS Connector详情请参见 云数据库RDS MySQL结果表。本文介绍的迁移场景如下图所示。前提条件 本地已安装Maven 3.x。已在 Maven资源...
BITNOT
使用限制 仅实时计算引擎VVR 3.0.0及以上版本支持BITNOT函数。语法 INT BITNOT(INT number)说明 输入和输出类型均为整型，且类型一致。入参 参数 数据类型 number INT 示例 测试数据 a(INT)7 测试语句 SELECT BITNOT(a)as var1 FROM T1;...
REGEXP_REPLACE
本文为您介绍如何使用REGEXP_REPLACE函数，用目标字符串替换指定字符串，并返回新的字符串。使用限制 仅实时计算引擎VVR 3.0.0及以上版本支持REGEXP_REPLACE函数。...测试结果 result(VARCHAR)20140313 空 s2s0s1s4s-s0s3s-s1s3s NULL num-num
管理域名
在实时计算控制台上，您可以管理上下游服务的域名。本文为您介绍如何在实时计算控制台上新增域名、修改域名和删除域名。使用限制 填写域名时，不支持填写大写字符。单个工作空间最多只能设置50个合法域名。当工作空间状态为运行中时，才...
任务编排（公测）
任务编排是一个全托管的工作流调度服务，通过可视化的操作界面轻松地编排批作业运行的顺序，构建数据仓库，在实时计算Flink版平台实现开发、调度、部署和运维一体化。重要 任务编排目前为公测功能，公测阶段不保障服务等级协议SLA。如果您...
计费项
本文介绍实时计算Flink版产品的计费项、计算公式、资源估算方法，以及Flink开通和使用过程中涉及的其他云产品的费用情况。资源估算 Flink工作空间的基本计量单位为Compute Unit（CU），即计算资源，1 CU=1核CPU+4 GiB内存+20 GB本地存储...
实时计算Flink版产品公告
【计费变更】实时计算Flink版监控服务ARMS Prometheus上线新版计费模式 自2023年12月8日起，实时计算Flink版对接ARMS Prometheus新版计费模式，可观测监控Prometheus版专家版的计费模式变更为按写入的可观测数据量收费，相比旧版计费预估可...
AUTO OPTIMIZE语句
基本语法 优化单个表 AUTO OPTIMIZE TABLE<target_table><target_table>:[catalog_name.][db_name.]table_name 优化单个数据库 AUTO OPTIMIZE DATABASE<target_database><target_database>:[catalog_name.]db_name 参数配置 配置方式 您...
管理项目空间
项目空间是Flink管理作业的基本单元，您的配置、作业、权限均在单个项目空间下进行。每个工作空间都有默认的项目空间（工作空间名称-default）。您可以添加多个项目空间，实现多租户通过项目空间进行资源和权限的隔离。本文为您介绍如何...
作业启动问题
详情请参见 开通实时计算Flink版。解决方案 在OSS上配置生命周期规则来定期清理删除标记和不必要的历史版本，详情请参见 使用最后一次修改时间的生命周期规则结合版本控制降低存储成本。报错：Job was submitted in detached mode.Results ...
BatchResourceSetting
名称 类型 描述 示例值 object 本数据结构代表批模式资源设置信息。maxSlot long 最大 slot 数。10 basicResourceSetting BasicResourceSetting 基础模式资源设置。
2023-08-21版本
具体升级计划，请关注 实时计算控制台 页面右侧的最新公告。概述 2023年8月21日正式对外发布Flink全托管的新版本，包含引擎更新、连接器更新、性能优化以及缺陷修复。引擎侧将正式对外发布VVR 8.0.1版本，该版本是基于Apache Flink 1.17.1...
同城高可用
在购买实时计算Flink版时，您需要选中 是否启用跨可用区，并填写 计算资源配额，选择对应的主备可用区和虚拟交换机，详情请参见 开通实时计算Flink版。在跨可用区项目空间创建并运行作业，详情请参见 进入目标项目空间。方式2：已有工作...
ISNAN
使用限制 仅实时计算引擎VVR 3.0.0及以上版本支持ISNAN函数。语法 BOOLEAN ISNAN(DOUBLE d)BOOLEAN ISNAN(FLOAT f)入参 参数 数据类型 d DOUBLE f FLOAT 示例 测试数据 表 1.T1 d f 0.1 0.1 0 0 测试语句 SELECT ISNAN(CAST(d AS DOUBLE))...
作业智能诊断
Flink Advisor作业智能诊断服务能够帮您监控作业健康状况，分析和诊断错误日志、异常运行和风险情况，并提供可理解和可操作的诊断建议，全面保障您的业务稳定可靠运行。本文为您介绍如何使用作业智能诊断服务。背景信息 Flink Advisor作业...
Parquet
仅对象存储OSS连接器（实时计算引擎VVR 6.0.7及以上版本）支持读取Parquet格式的数据。使用示例 利用OSS和Parquet格式创建表的示例如下。CREATE TABLE user_behavior(user_id BIGINT,item_id BIGINT,category_id BIGINT,behavior STRING,ts...
开通实时计算Flink版
使用实时计算Flink版需要开通工作空间，每个工作空间的计算资源隔离，开发控制台相互独立。本文为您介绍开通Flink工作空间的操作步骤，以及开通过程中的注意事项。前提条件 已拥有阿里云账号。如果您还没有阿里云账号，请先完成注册，详情...
通过Flink读写云原生数据仓库AnalyticDB PostgreSQL版...
本文介绍如何通过阿里云实时计算Flink版实时读写云原生数据仓库 AnalyticDB PostgreSQL版 数据。背景信息 云原生数据仓库AnalyticDB PostgreSQL版 是一种大规模并行处理（MPP）数据仓库服务，可提供海量数据在线分析服务。实时计算Flink版 ...
包年包月转按量付费
操作步骤 登录 实时计算控制台。在 Flink全托管 页签，目标工作空间 操作 列下，选择 更多>转为按量付费模式。在 转为按量付费模式 页面，查看转换须知和退款信息。阅读《Flink全托管服务等级协议》后，选中 我已阅读并同意。单击 确定 并...
按量付费转包年包月
操作步骤 登录 实时计算控制台。在 Flink全托管 页签，目标工作空间 操作 列下，选择 更多>转为包年包月模式。在 转为包年包月模式 页面，完成计费方式转换的相关配置。配置项 说明 项目资源分配 分配给具体项目的资源数。购买时长 购买以...
JSON_TUPLE
使用限制 仅实时计算引擎VVR 3.0.0及以上版本支持JSON_TUPLE函数。语法 JSON_TUPLE(str,path1,path2.,pathN)入参 参数 数据类型 说明 str VARCHAR JSON字符串。path1～pathN VARCHAR 表示路径的字符串，前面不需要$。示例 测试数据 表 1.T1...
APPROX_COUNT_DISTINCT
使用限制 仅实时计算引擎VVR 3.0.0及以上版本支持APPROX_COUNT_DISTINCT函数。背景信息 Count Distinct优化时，Aggregate节点的State需要保存所有Distinct Key信息。当Distinct Key数目过大时，State的读写开销太大，因此Count Distinct...
使用Python依赖
您可以在Flink Python作业中使用自定义的Python虚拟环境、第三方Python包、JAR包和数据文件等，本文为您介绍如何在Python作业中使用这些依赖。背景信息 本文通过以下场景为您介绍如何使用Python依赖：使用自定义的Python虚拟环境 使用第三...
2021-08-04版本
云数据库RDS MySQL Connector JDBC版本升级，兼容更多字符集。MySQL的CDC Connector支持多并发读取全量数据、无锁算法和断点续传功能。云原生数据仓库 AnalyticDB MySQL 版 3.0 Connector支持ON Depulicate Key Update语义。VVR 4.0.8版本...
包年包月
包年包月是一种先付费后使用的计费方式，在购买时根据购买时长预先支付了费用。适用于具有长期稳定，可预估资源使用周期的业务场景。本文为您介绍包年包月付费模式的计费规则、计费周期和...开通工作空间操作，请参见 开通实时计算Flink版。
DataStream连接器设置方法
base：<dependency><groupId>org.apache.flink</groupId><artifactId>flink-connector-base</artifactId>${flink.version}</version></dependency>其中，${flink.version} 是作业运行环境对应的Flink版本，如您的作业运行在 1.15-vvr-6.0.7...
2023-02-20版本
本文为您介绍2023年2月20日发布的Flink全托管版本的重大功能变更和主要缺陷修复。...修复Flink CDC在异步线程里用JDBC读数据库时，出现OOM无法透出的缺陷。修复由于错误的codeGen代码而出现 Table program cannot be compiled.的问题。
MURMUR_HASH
使用限制 仅实时计算引擎VVR 3.0.0及以上版本支持MURMUR_HASH函数。语法 INT MURMUR_HASH(value)入参 参数 数据类型 value VARCHAR或数值类型。示例 示例1 测试数据 表 1.T1 id(INT)hash_value(VARCHAR)1 This is a test String.2 NULL 3 ...
管理资源队列
每个Flink项目空间都会有一个默认队列（default-queue）来承载作业的运行。如果您有资源隔离和管理的需求，可以通过添加资源队列的方式实现。本文为您介绍如何添加、修改和删除资源队列。使用场景及方式 适用于有资源隔离和管理需求的场景...
Flink CDC企业版特性
相关文档 SQL作业开发 CDC问题 数据同步模版
JSON
支持JSON格式的连接器有：消息队列Kafka、Upsert Kafka、Elasticsearch、对象存储OSS，云数据库MongoDB 和 StarRocks 等。使用示例 利用Kafka以及JSON格式构建表的示例如下。CREATE TABLE Orders(orderId INT,product STRING,orderInfo MAP...
SPLIT_INDEX
使用限制 仅实时计算引擎VVR 3.0.0及以上版本支持SPLIT_INDEX函数。语法 VARCHAR SPLIT_INDEX(VARCHAR str,VARCHAR sep,INT index)入参 参数 数据类型 说明 str VARCHAR 目标字符串。sep VARCHAR 分隔符。index INT 字段位置，index从0开始...
按登录方式授权
实时计算Flink版支持阿里云账号、阿里云RAM用户、阿里云RAM角色、资源目录成员方式登录并访问实时计算控制台，以及进行作业开发和运维。不同登录方式下需要被授权的主体（身份或账号）可能不同，本文通过示例为您介绍不同登录方式下，访问...
BasicResourceSetting
名称 类型 描述 示例值 object 本数据结构表示用户使用的社区版本常用的基础模式资源配置，有别于商业版本提供的专家模式资源配置。parallelism long 并发度。4 jobmanagerResourceSettingSpec BasicResourceSettingSpec JobManager 资源...
- 产品推荐
- 这些文档可能帮助您