自2023年12月8日起,实时计算Flink版对接ARMS Prometheus新版计费模式,可观测监控Prometheus版专家版的计费模式变更为按写入的可观测数据量收费。变更优势 相比旧版计费模式,费用预估可节省55%以上。新版计费模式下费用节省情况请参见 ...
阿里云Flink采用的是基于Apache Flink增强的企业级引擎Ververica Runtime(简称VVR)。本文为您详细介绍引擎版本号及含义、引擎服务承诺与建议。...实时计算Flink版的产品形态、发布状态及选型建议,详情请参见 产品形态。
前提条件 其他阿里云账号或RAM用户共同使用实时计算Flink版产品时,需要为阿里云账号或RAM用户授权,以进行查看与修改作业运行状态等相关操作,详情请参见 作业操作账号授权。查看作业运行状态 登录 实时计算控制台。在 Flink全托管 页签,...
实时计算Flink版的开通,请参见 开通实时计算Flink版。说明 实时计算Flink版需要VVR 4.0.13及以上版本,VVR 4.0.13版本是基于Apache Flink 1.13。为了保证网络的连通性,确保 云原生多模数据库 Lindorm 实例和实时计算Flink使用相同的专有...
同城高可用 开通实时计算Flink版 资源调整 管理项目空间 修改虚拟交换机 算子探查(公测)支持对运行中的SQL作业进行中间结果查询,减少排查数据正确性的难度。算子探查(公测)免费监控服务 开通Flink工作空间时,支持选择免费监控服务,...
实时计算Flink版支持阿里云账号、阿里云RAM用户、阿里云RAM角色、资源目录成员方式登录并访问实时计算控制台,以及进行作业开发和运维。不同登录方式下需要被授权的主体(身份或账号)可能不同,本文通过示例为您介绍不同登录方式下,访问...
问题描述 如何购买Flink半托管集群 问题原因 查看Flink全托管控制台,存在Flink半托管/ACK的选项,但是没有找到创建Flink半托管的入口。解决方案 目前Flink控制台已不再支持创建Flink半托管集群...更多信息 产品形态 适用范围 实时计算Flink版
实时计算Flink版支持选择云监控(免费监控服务)或ARMS可观测监控Prometheus版监控服务为您提供作业监控告警功能。本文介绍云监控和ARMS在Flink监控告警上的功能差异,您可以根据实际需要进行选择。功能对比 对比项 功能 ARMS 云监控 服务...
本文为您介绍2024年4月1日发布的实时计算Flink版的重大功能变更和主要缺陷修复。重要 本次升级计划在全网逐步进行灰度,预计3-4周完成全部升级,具体计划请关注 实时计算控制台 页面右侧的最新公告。如果您不能使用相关新功能,说明您的...
为了提高服务质量并满足不断增长的业务需求,我们将对实时计算Flink版网络架构进行重要升级。此次升级旨在优化IP资源的使用效率,加强网络安全隔离措施,并为支持同城高可用CU类型奠定基础,为您带来更加稳健和高效的数据处理体验。您可以...
本文为您介绍如何基于阿里云实时计算Flink版内置的GitHub公开事件样例数据,快速体验实时计算Flink版产品的实时数据分析功能。注意事项 如果您是实时计算Flink版新用户,可以申请该产品的免费资源包,免费试用体验实时计算Flink版产品的...
注意事项 您需要根据社区定义的连接器标准开发您自定义的连接器,才能正确地被实时计算Flink版识别并使用,因此您需要明确连接器Meta文件和声明Factory类。自定义连接器开发详情请参见 User-defined Sources&Sinks。同种类型的连接器仅可以...
角色支持的功能 实时计算Flink版支持添加阿里云账号、RAM用户、RAM角色账号扮演的阿里云主账号为成员,并对添加的成员绑定owner、editor或viewer角色。不同角色可以使用的功能差异如下表所示。功能 owner editor viewer 查看作业列表 Y Y Y...
本文为您介绍阿里云实时计算Blink独享或共享集群(Blink计算引擎和Bayes开发平台)的业务迁移至实时计算Flink全托管(Flink计算引擎VVR和开发平台VVP)时的迁移限制、迁移方案和常见问题。迁移限制 由于Blink作业的State和Flink的State无法...
GeminiStateBackend是一款面向流计算场景的KV存储引擎,作为实时计算Flink版产品的默认状态存储后端(StateBackend)。本文为您介绍企业级状态后端存储GeminiStateBackend的核心设计,以及其与RocksDBStateBackend的性能对比情况。整体介绍...
问题描述 实时计算开发控制台显示服务暂不可用。问题原因 1....SLB可以让您以公网的形式访问Flink全托管实例,如果SLB欠费7天没有续费,SLB将会被释放,释放后就不能通过公网访问。2.VVP版本更新可能会导致一段时间内...适用范围 实时计算Flink版
按量付费是一种后付费的计费模式,无需您提前购买大量资源,系统会根据您工作空间实际的资源使用量进行结算。本文将为您介绍按量付费的计费规则、不同地域的单价以及停止计费的相关信息。...开通工作空间操作,请参见 开通实时计算Flink版。
Flink全托管资源 阿里云实时计算Flink版是阿里云基于Apache Flink构建的一站式实时大数据分析平台,提供端到端亚秒级实时数据分析能力,有关Flink全托管资源的详细信息请参见 Flink全托管资源概述。前提条件 在开始执行操作之前,请确认您...
数据湖构建(DLF)可以结合阿里云实时计算Flink版(Flink VVP),以及Flink CDC相关技术,实现灵活定制化的数据入湖。并利用DLF统一元数据管理、权限管理等能力,实现数据湖多引擎分析、数据湖管理等功能。本文为您介绍Flink+DLF数据湖方案...
使用Python依赖 实时计算Flink版集群已预装了Pandas、NumPy和PyArrow等常用的Python包,您可以在 Python作业开发 页面,了解实时计算Flink版中已安装的第三方Python包列表。预装的Python包使用时需要在Python函数内部导入。示例如下。udf...
Paimon Catalog使用的OSS Bucket必须与实时计算Flink版位于同一地域,且开通实时计算Flink版服务的账号必须有权限读写该OSS Bucket。注意事项 目前由于Flink全托管相关缓存机制,通过SQL方式进行Catalog、Database和table的增删,无法立刻...
背景信息 相较于Apache Flink的CEP SQL,实时计算Flink版在其基础上进行了增强。例如,支持输出超时匹配、支持松散连接(followedBy)、支持指定事件之间的连续性等。关于Apache Flink CEP SQL的基本能力,详情请参见 Pattern Recognition...
实时计算Flink版支持接入Terraform,您可以基于Terraform平台使用和管理Flink资源。背景信息 基本功能 Terraform是一种基础设施即代码(Infrastructure as Code)工具,可以通过编写简洁的代码来定义和配置云端基础设施,而不必手动操作和...
表类型的定义 阿里云实时计算Flink版通过Flink SQL定义表对上下游存储进行映射或者使用Datastream API进行连接来实现读写。支持以下几种Flink SQL表类型的定义:源表(Source Table)Flink作业的数据输入表,是计算的驱动来源。不能作为维...
Flink产品重大变更或者活动公告信息请在 实时计算控制台 或者 实时计算Flink版产品公告 上进行查看。企业级状态后端存储GeminiStateBackend,以及其与RocksDBStateBackend的性能对比情况,请参见 企业级状态后端存储介绍。
无 新增产品公告能力 实时计算Flink版在作业控制台上新增了产品公告的能力,您可以直接接收到包括产品升级在内的各种用户须知信息。这样可以有效避免通过短信、站内信、钉钉群等途径无法完全触达终端用户的问题。无 UI优化 支持全新阿里云...
详情请参见 开通实时计算Flink版。解决方案 在OSS上配置生命周期规则来定期清理删除标记和不必要的历史版本,详情请参见 使用最后一次修改时间的生命周期规则结合版本控制降低存储成本。报错:Job was submitted in detached mode.Results ...
本文为您介绍如何通过实时计算Flink版和流式数据湖仓Paimon搭建流式湖仓。背景信息 随着社会数字化发展,企业对数据时效性的需求越来越强烈。传统的离线数仓搭建方法论比较明确,通过定时调度离线作业的方式,将上一时段产生的新鲜变更并入...
实时数仓Hologres连接器 实时计算Flink版实时消费Hologres 1.17 8.0.3 2.0.x 2.1.x 通用:无论Hologres实例版本,维表和结果表都已不再支持RPC模式。若选择RPC模式,将自动切换为jdbc_fixed模式,如果实例版本较低,建议升级版本。实时数仓...
Flink全托管资源 阿里云实时计算Flink版是阿里云基于Apache Flink构建的一站式实时大数据分析平台,提供端到端亚秒级实时数据分析能力,有关Flink全托管资源的详细信息请参见 什么是阿里云实时计算Flink版。您可以在 资源配额 页面购买...
您在线上下单购买云盒后,阿里云将启动云盒交付工作,包括上门对IDC进行工勘,以及工勘通过后,上门安装部署云盒。背景信息 阿里云接收到您的云盒购买订单后,将在3个工作日内与您联系确认部署点信息和云盒资源信息。确认订单后,将启动...
配置项 描述 资源配置 开源Flink实时计算源 对于开源Flink创建的实时任务,任务的实时模式资源配置支持配置任务的生产环境和开发环境的资源队列、引擎版本以及任务的并行度、Task Manager数量、Job Manager Momory和Task Manager Momory。...
目前阿里云实时计算Flink版,以及开源大数据平台E-MapReduce上常见的计算引擎(例如Spark、Hive或Trino)都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者OSS上构建自己的数据湖存储服务,并接入计算引擎实现数据...
重要 鉴于 云消息队列 RocketMQ 版 4.x标准版当前最高可达每秒5千条消息的限速机制,使用该版作为实时计算Flink版对接的消息中间件,可能会导致Flink作业运行不稳定。因此,在选择消息中间件时,如果您正在或计划通过标准版RocketMQ与Flink...
本文为您介绍实时计算Flink版系统检查点或作业快照相关的常见问题。两次Checkpoint最小间隔时间计算方式 VVR 8.x和VVR 6.x使用的GeminiStateBackend有什么区别?报错:org.apache.flink.util.SerializedThrowable 报错:You are using the ...
本文为您介绍实时计算Flink版分场景排错指引方面的常见问题,包括权限、运维和数据异常等问题。权限 不小心删除了角色或者变更了授权策略,导致Flink全托管服务不可用怎么办?运维 JobManager没有运行起来,如何快速定位问题?Python作业,...
本文提供使用 流数据服务Confluent和实时计算Flink版搭建实时计算平台的最佳实践。业务背景 在阿里云上开展实际业务往往需要进行实时数据分析,实现流式数据实时计算,Confluent+VVP是一个常用的处理方案。流数据服务Confluent是阿里云基于...
说明 实时计算Flink版默认不具备访问公网的能力,但阿里云提供的NAT网关可以实现VPC网络与公网网络互通,详情请参见 Flink全托管如何访问公网?project SLS项目名称。String 是 无 无。logStore SLS LogStore或metricstore名称。String 是 ...
包年包月是一种先付费后使用的计费方式,在购买时根据购买时长预先支付了费用。适用于具有长期稳定,可预估资源使用周期的业务场景。本文为您介绍包年包月付费模式的计费规则、计费周期和...开通工作空间操作,请参见 开通实时计算Flink版。
当您需要构建一个日志检索系统时,可通过实时计算Flink对日志数据进行计算后,输出到Elasticsearch进行搜索。本文以阿里云日志服务SLS(Log Service)为例,为您介绍具体的实现方法。前提条件 您已完成以下操作:开通阿里云实时计算服务并...