本文为您介绍如何在开发者本地环境中运行和调试包含阿里云实时计算Flink版连接器的作业,以便快速验证代码的正确性,快速定位和解决问题,并节省云上成本。背景信息 当您在Inteillij IDEA中运行和调试Flink作业,如果其包含了阿里云实时...
重要 社区版CDC连接器是遵循Apache 2.0开源协议的社区开源项目,与阿里云实时计算Flink版产品提供的商业版连接器在服务支持及SLA存在差异:在使用时,如果您遇到配置失败、作业失败或数据丢失等问题,需要到开源社区寻找对应问题的解决方案...
无 连接器(Connector)实时计算Flink版内置了丰富的连接器用于多种上下游的数据读写与同步,并支持上传和使用自定义连接器。支持的连接器 函数(Function)实时计算Flink版提供函数功能,包括内置函数和自定义函数。窗口函数概述 支持的...
相关文档 什么是阿里云实时计算Flink版 功能与优势 应用场景 开通Flink全托管
实时计算Flink版支持接入Terraform,您可以基于Terraform平台使用和管理Flink资源。背景信息 基本功能 Terraform是一种基础设施即代码(Infrastructure as Code)工具,可以通过编写简洁的代码来定义和配置云端基础设施,而不必手动操作和...
相关文档 什么是阿里云实时计算Flink版 应用场景 开通Flink全托管
相关文档 什么是阿里云实时计算Flink版 应用场景 开通Flink全托管
相关文档 什么是阿里云实时计算Flink版 功能与优势 基本概念 开通Flink全托管
相关文档 什么是阿里云实时计算Flink版 应用场景 实时数仓Hologres使用流程
在您购买实时计算Flink版服务前,需要先了解实时计算Flink版的产品形态及特点,再根据业务选择合适的实例。本文为您介绍实时计算Flink版的产品形态区别、发布状态及选型建议。形态区别 产品形态 部署形态 计算引擎 开发平台 Flink全托管 ...
本文为您介绍实时计算Flink版2022年及之前产品公告,包括平台升级、API版本升级等。2022年9月19日,API版本升级公告 2022年9月19日,我们对实时计算Flink版API版本进行了升级。后续将默认使用新的API版本(V2版本)为您服务。相较于V1版本...
不支持的服务 不负责基于实时计算Flink版的业务代码实现(包括SQL、DataStream和Python作业、自定义 UDX、自定义Format和自定义连接器)、数据正确性排查、作业性能调优和业务迁移等。不负责非产品标准能力的支持,例如产品未提供的连接器...
您可以在阿里云用户中心查看实时计算Flink版的费用情况。操作步骤 登录 阿里云控制台。在顶部菜单栏单击 费用,进入用户中心。在左侧导航栏,选择 账单管理>账单详情。根据需要查看消费情况或导出账单。您可以 在 明细账单 页签,消费类型 ...
本文介绍如何通过阿里云实时计算Flink版实时读写云原生数据仓库 AnalyticDB PostgreSQL版 数据。背景信息 云原生数据仓库AnalyticDB PostgreSQL版 是一种大规模并行处理(MPP)数据仓库服务,可提供海量数据在线分析服务。实时计算Flink版 ...
权限概述 实时计算Flink版支持阿里云账号、RAM用户、RAM角色、资源目录成员方式登录并访问实时计算控制台,以及进行作业开发和运维。无论您采用何种方式登录(阿里云账号访问自己所拥有的资源除外),均需要具有相应的权限才能正常进行操作...
您可以上传您自己开发的连接器,也可以上传实时计算Flink版提供的连接器(下载地址请参见 Connector列表)。重要 因近期Maven中心仓库目录更新问题,最新版本(例如Flink 1.17-vvr-8.0.4-1)的连接器JAR包可能没有在 一层目录 里,您可以...
阿里云实时计算Flink版是一套基于Apache Flink构建的⼀站式实时大数据分析平台,提供端到端亚秒级实时数据分析能力,并通过标准SQL降低业务开发门槛,助力企业向实时化、智能化大数据计算升级转型。产品概述 阿里云实时计算Flink版是一种全...
使用限制 浏览器:仅支持通过Chrome内核的浏览器访问阿里云实时计算Flink版控制台。地域及可用区:实时计算Flink在中国和海外多个区域提供服务,每个区域有一到多个可用区,支持详情请参见 地域及可用区。资源数:包年包月工作空间开通时,...
本文为您介绍 实时计算 Flink版(RealtimeCompute)为RAM权限策略定义的操作(Action)、资源(Resource)和条件(Condition)。实时计算 Flink版(RealtimeCompute)的RAM代码(RamCode)为 stream,支持的授权粒度为 RESOURCE。权限策略...
本文为您介绍 实时计算 Flink版(RealtimeCompute)为RAM权限策略定义的操作(Action)、资源(Resource)和条件(Condition)。实时计算 Flink版(RealtimeCompute)的RAM代码(RamCode)为 stream,支持的授权粒度为 RESOURCE。权限策略...
本文为您介绍阿里云地域和可用区的概念、选择指导以及阿里云实时计算Flink版支持的地域及可用区列表。背景信息 地域(Region):指数据中心所在的地理区域,通常按照数据中心所在的城市划分。例如,华北2(北京)地域表示数据中心所在的...
自2023年12月8日起,实时计算Flink版对接ARMS Prometheus新版计费模式,可观测监控Prometheus版专家版的计费模式变更为按写入的可观测数据量收费。变更优势 相比旧版计费模式,费用预估可节省55%以上。新版计费模式下费用节省情况请参见 ...
本文介绍如何通过操作审计(ActionTrail)产品查看Flink审计事件。背景信息 操作审计(ActionTrail)可以帮助...DeleteDeployment"} 实时计算Flink版事件列表 实时计算Flink版支持在操作审计中查询的事件请参见 实时计算Flink版的审计事件。
检查源表数据是否进入实时计算Flink版 排错指引 这种情况下没有Failover,但数据延时会很大,请查看数据曲线页面numRecordsIn_VVP,检查各Source输入是否有数据。解决方案 检查源表,保证上游有数据进入实时计算Flink版。检查数据是否被...
Apache Flink社区于Flink 1.16.0和1.15.3版本进行了修复,阿里云实时计算Flink版已经在VVR-6.0.2及以上版本修复。但是鉴于此缺陷会导致作业运行可用性存在潜在的重大风险,我们为云上客户专属进行了低版本的修复,并将此Patch放入本次发布...
如果您重新规划了IPv4网段或遇到作业启动...实时计算Flink版默认不具备访问公网的能力,但通过在VPC中创建NAT网关,并创建SNAT条目,将Flink所在的交换机绑定至弹性公网IP(EIP),即可通过EIP访问公网,详情请参见 Flink全托管如何访问公网?
使用限制 仅Flink实时计算引擎VVR 6.0.0及以上版本支持云原生数据仓库AnalyticDB PostgreSQL版连接器。仅Flink实时计算引擎VVR 8.0.1及以上版本支持云原生数据仓库AnalyticDB PostgreSQL版7.0版本。暂不支持自建的Postgres SQL。语法结构 ...
概述 2024年01月04日正式对外发布实时计算Flink版的引擎新版本VVR 8.0.5,包含连接器更新、性能优化以及缺陷修复。该版本是基于Apache Flink 1.17.2的企业级Flink引擎。在该版本中,我们对MySQL源表CDC在指定位点(指定偏移量和时间戳)后...
相关文档 实时计算Flink版支持的连接器列表,请参见 支持的连接器。将数据写入PolarDB PostgreSQL版(Oracle语法兼容1.0)结果表,请参见 PolarDB PostgreSQL版(Oracle语法兼容1.0)。如果您需要读写RDS MySQL、PolarDB for MySQL或者自建...
为了更好地服务于用户,实时计算Flink版构建了生命周期管理体系,明确了产品和引擎版本生命周期策略。通过引入新产品和新版本,希望能够更好地满足您丰富的实时业务需求并高效稳定地保证业务运行结果。涉及范围 本策略涉及的范围包括阿里云...
注意事项 您需要根据社区定义的连接器标准开发您自定义的连接器,才能正确地被实时计算Flink版识别并使用,因此您需要明确连接器Meta文件和声明Factory类。自定义连接器开发详情请参见 User-defined Sources&Sinks。同种类型的连接器仅可以...
实时计算Flink版支持在Flink SQL作业中使用Python自定义函数,本文为您介绍Flink Python自定义函数的分类、Python依赖使用方法和能调优方式。自定义函数分类 分类 描述 UDSF(User Defined Scalar Function)用户自定义标量值函数,将0个、...
前提条件 其他阿里云账号或RAM用户共同使用实时计算Flink版产品时,需要为阿里云账号或RAM用户授权,以进行查看与修改作业运行状态等相关操作,详情请参见 作业操作账号授权。查看作业运行状态 登录 实时计算控制台。在 Flink全托管 页签,...
阿里云Flink采用的是基于Apache Flink增强的企业级引擎Ververica Runtime(简称VVR)。本文为您详细介绍引擎版本号及含义、引擎服务承诺与建议。...实时计算Flink版的产品形态、发布状态及选型建议,详情请参见 产品形态。
注意事项 仅适用于实时计算Flink版按量付费工作空间,预先购买资源包,账号下所有按量付费工作空间费用结算时,优先从资源包抵扣用量。仅支持抵扣上海、杭州、北京、深圳、张家口区域按量付费资源用量。每个资源抵扣包的有效期为三个月(自...
} 常见问题 实时计算Flink版支持的连接器列表,请参见 支持的连接器。您可以使用Kafka连接器来访问DataHub,Kafka连接器使用详情,请参见 消息队列Kafka。分裂或者缩容DataHub Topic后导致Flink作业失败,如何恢复?可以删除正在消费的...
任务编排是一个全托管的工作流调度服务,通过可视化的操作界面轻松地编排批作业运行的顺序,构建数据仓库,在实时计算Flink版平台实现开发、调度、部署和运维一体化。重要 任务编排目前为公测功能,公测阶段不保障服务等级协议SLA。如果您...
如果您不需要实时计算Flink版监控告警功能或某些监控指标,您可以关闭对应工作空间的监控告警或废弃具体指标,以节省费用,后续有需要时可以重新恢复指标采集。本文为您介绍如何关闭监控告警、废弃监控指标,以及对应的恢复操作。注意事项 ...
实时计算Flink版支持选择云监控(免费监控服务)或ARMS可观测监控Prometheus版监控服务为您提供作业监控告警功能。本文介绍云监控和ARMS在Flink监控告警上的功能差异,您可以根据实际需要进行选择。功能对比 对比项 功能 ARMS 云监控 服务...