本文为您介绍如何在开发者本地环境中运行和调试包含阿里云实时计算Flink版连接器的作业,以便快速验证代码的正确性,快速定位和解决问题,并节省云上成本。背景信息 当您在Inteillij IDEA中运行和调试Flink作业,如果其包含了阿里云实时...
重要 社区版CDC连接器是遵循Apache 2.0开源协议的社区开源项目,与阿里云实时计算Flink版产品提供的商业版连接器在服务支持及SLA存在差异:在使用时,如果您遇到配置失败、作业失败或数据丢失等问题,需要到开源社区寻找对应问题的解决方案...
无 连接器(Connector)实时计算Flink版内置了丰富的连接器用于多种上下游的数据读写与同步,并支持上传和使用自定义连接器。支持的连接器 函数(Function)实时计算Flink版提供函数功能,包括内置函数和自定义函数。窗口函数概述 支持的...
相关文档 实时计算Flink版支持的连接器列表,请参见 支持的连接器。将数据写入PolarDB PostgreSQL版(Oracle语法兼容1.0)结果表,请参见 PolarDB PostgreSQL版(Oracle语法兼容1.0)。如果您需要读写RDS MySQL、PolarDB for MySQL或者自建...
本文介绍如何通过阿里云实时计算Flink版实时读写云原生数据仓库 AnalyticDB PostgreSQL版 数据。背景信息 云原生数据仓库AnalyticDB PostgreSQL版 是一种大规模并行处理(MPP)数据仓库服务,可提供海量数据在线分析服务。实时计算Flink版 ...
不支持的服务 不负责基于实时计算Flink版的业务代码实现(包括SQL、DataStream和Python作业、自定义 UDX、自定义Format和自定义连接器)、数据正确性排查、作业性能调优和业务迁移等。不负责非产品标准能力的支持,例如产品未提供的连接器...
您可以上传您自己开发的连接器,也可以上传实时计算Flink版提供的连接器(下载地址请参见 Connector列表)。重要 因近期Maven中心仓库目录更新问题,最新版本(例如Flink 1.17-vvr-8.0.4-1)的连接器JAR包可能没有在 一层目录 里,您可以...
使用限制 仅Flink实时计算引擎VVR 6.0.0及以上版本支持云原生数据仓库AnalyticDB PostgreSQL版连接器。仅Flink实时计算引擎VVR 8.0.1及以上版本支持云原生数据仓库AnalyticDB PostgreSQL版7.0版本。暂不支持自建的Postgres SQL。语法结构 ...
} 常见问题 实时计算Flink版支持的连接器列表,请参见 支持的连接器。您可以使用Kafka连接器来访问DataHub,Kafka连接器使用详情,请参见 消息队列Kafka。分裂或者缩容DataHub Topic后导致Flink作业失败,如何恢复?可以删除正在消费的...
概述 2024年01月04日正式对外发布实时计算Flink版的引擎新版本VVR 8.0.5,包含连接器更新、性能优化以及缺陷修复。该版本是基于Apache Flink 1.17.2的企业级Flink引擎。在该版本中,我们对MySQL源表CDC在指定位点(指定偏移量和时间戳)后...
本文介绍如何通过实时计算Flink版和实时数仓Hologres搭建实时数仓。背景信息 随着社会数字化发展,企业对数据时效性的需求越来越强烈。除传统的面向海量数据加工场景设计的离线场景外,大量业务需要解决面向实时加工、实时存储、实时分析的...
注意事项 您需要根据社区定义的连接器标准开发您自定义的连接器,才能正确地被实时计算Flink版识别并使用,因此您需要明确连接器Meta文件和声明Factory类。自定义连接器开发详情请参见 User-defined Sources&Sinks。同种类型的连接器仅可以...
使用限制 浏览器:仅支持通过Chrome内核的浏览器访问阿里云实时计算Flink版控制台。地域及可用区:实时计算Flink在中国和海外多个区域提供服务,每个区域有一到多个可用区,支持详情请参见 地域及可用区。资源数:包年包月工作空间开通时,...
管理资源队列 任务编排(公测)通过可视化的操作界面轻松地编排批作业运行的顺序,调度批作业任务的运行,高效构建数据仓库,在实时计算Flink版平台实现开发、调度、部署和运维一体化。任务编排(公测)查询脚本 可以在查询脚本中通过DDL、...
相关文档 什么是阿里云实时计算Flink版 功能与优势 应用场景 开通Flink全托管
相关文档 什么是阿里云实时计算Flink版 应用场景 开通Flink全托管
相关文档 什么是阿里云实时计算Flink版 应用场景 开通Flink全托管
相关文档 什么是阿里云实时计算Flink版 功能与优势 基本概念 开通Flink全托管
使用实时计算Flink版需要开通工作空间,每个工作空间的计算资源隔离,开发控制台相互独立。本文为您介绍开通Flink工作空间的操作步骤,以及开通过程中的注意事项。前提条件 已拥有阿里云账号。如果您还没有阿里云账号,请先完成注册,详情...
相关文档 什么是阿里云实时计算Flink版 应用场景 实时数仓Hologres使用流程
本文为您介绍Flink Python API作业开发的背景信息、使用限制、开发方法、调试方法和连接器使用等。背景信息 Flink Python作业需要您在本地完成...实时计算Flink版还支持运行SQL和DataStream作业,开发方法请参见 SQL作业开发 和 JAR作业开发。
实时计算Flink版提供了算子探查功能,可以在不修改作业的情况下,探查选中算子的输入输出情况,帮助您更好地排查数据正确性问题。使用限制 仅支持运行中的SQL作业。仅支持实时计算引擎VVR 8.0.4及以上版本作业。不支持CTAS、CDAS作业。不...
本文为您介绍 云消息队列 RocketMQ 版 连接器。重要 鉴于 云消息队列 RocketMQ 版 4.x标准版当前最高可达每秒5千条消息的限速机制,使用该版作为实时计算Flink版对接的消息中间件,可能会导致Flink作业运行不稳定。因此,在选择消息中间件...
本文带您快速体验Flink JAR流作业和批作业的创建、部署和启动,以了解实时计算Flink版JAR作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问,需要确认已具有Flink控制台相关权限,详情请参见 权限管理。已创建Flink工作空间...
表类型的定义 阿里云实时计算Flink版通过Flink SQL定义表对上下游存储进行映射或者使用Datastream API进行连接来实现读写。支持以下几种Flink SQL表类型的定义:源表(Source Table)Flink作业的数据输入表,是计算的驱动来源。不能作为维...
您可以通过以下任何一种方式来使用连接器:(推荐)上传连接器JAR包到实时计算控制台后,填写配置信息 直接将连接器作为项目依赖打进作业JAR包 重要 请使用我们在 支持的连接器 中指明提供DataStream API的连接器。如果某个连接器未注明...
作为预览型功能,自本版本起,阿里云实时计算Flink提供了Apache Paimon(incubating),这是一项流式数据湖存储技术,提供高吞吐、低延迟的数据摄入、流式订阅和实时查询能力。平台侧将进行多项常用功能的改版,更改了产品控制台的一级目录和...
类别 详情 支持类型 结果表 运行模式 批模式和流模式 数据格式 暂不适用 特有监控指标 暂无 API种类 SQL 是否支持更新或删除结果表数据 是 使用限制 仅Flink计算引擎VVR 2.0.0及以上版本支持Blackhole连接器。语法结构 CREATE TABLE ...
本文带您快速体验Flink Python流作业和批作业的创建、部署和启动,以了解实时计算Flink版Python作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问,需要确认已具有Flink控制台相关权限,详情请参见 权限管理。已创建Flink...
Paimon Catalog使用的OSS Bucket必须与实时计算Flink版位于同一地域,且开通实时计算Flink版服务的账号必须有权限读写该OSS Bucket。注意事项 目前由于Flink全托管相关缓存机制,通过SQL方式进行Catalog、Database和table的增删,无法立刻...
具体升级计划,请关注 实时计算控制台 页面右侧的最新公告。概述 2023年6月21日正式对外发布Flink全托管的新版本,包含平台改版和引擎更新、连接器更新、性能优化以及缺陷修复。引擎侧将正式对外发布VVR 6.0.7版本,该版本是基于Apache ...
具体升级计划,请关注 实时计算控制台 页面右侧的最新公告。概述 2023年11月27日正式对外发布Flink全托管的引擎新版本VVR 8.0.4,包含连接器更新、性能优化以及缺陷修复。该版本是基于Apache Flink 1.17.1的企业级Flink引擎。在该版本中,...
CDAS可以实现整库同步或者同一库中的多表结构和数据同步,详情请参见 基于实时计算Flink使用CTAS&CDAS功能同步MySQL数据至StarRocks。前提条件 已创建StarRocks集群,包括EMR的StarRocks或基于ECS的云上自建StarRocks。使用限制 仅实时计算...
使用限制 仅Flink计算引擎VVR 2.1.5及以上版本支持Print连接器。语法结构 CREATE TABLE print_table(a INT,b varchar)WITH('connector'='print','logger'='true');您也可以基于现有的表模式使用 LIKE 子句来创建,代码示例如下。CREATE ...
说明 实时计算Flink版默认不具备访问公网的能力,但阿里云提供的NAT网关可以实现VPC网络与公网网络互通,详情请参见 Flink全托管如何访问公网?project SLS项目名称。String 是 无 无。logStore SLS LogStore或metricstore名称。String 是 ...
具体升级计划,请关注 实时计算控制台 页面右侧的最新公告。概述 2023年8月21日正式对外发布Flink全托管的新版本,包含引擎更新、连接器更新、性能优化以及缺陷修复。引擎侧将正式对外发布VVR 8.0.1版本,该版本是基于Apache Flink 1.17.1...
若实时计算Flink端使用开源自建版,请确保 flink-adbpg-connector 已安装在$FLINK_HOME/lib 目录下。若使用 公有云托管版,则无任何操作。AnalyticDB PostgreSQL版 数据库已安装向量检索插件FastANN。您可以在psql客户端通过 \dx fastann ...
从VVR 3.0.0版本开始,支持实时消费Hologres数据,详情请参见 实时计算Flink版实时消费Hologres。从VVR 6.0.3版本开始,Hologres源表在批模式读取时支持filter下推,详见源表独有参数 enable_filter_push_down。Hologres CDC模式暂不支持...
目前阿里云实时计算Flink版,以及开源大数据平台E-MapReduce上常见的计算引擎(例如Spark、Hive或Trino)都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者OSS上构建自己的数据湖存储服务,并接入计算引擎实现数据...