Iceberg
使用限制 仅Flink计算引擎VVR 4.0.8及以上版本支持Iceberg连接器。Iceberg连接器仅支持Apache Iceberg v1表格式，详情请参见 Iceberg Table Spec。语法结构 CREATE TABLE iceberg_table(id BIGINT,data STRING)WITH('connector'='iceberg',...
2022年及之前公告
本文为您介绍实时计算Flink版2022年及之前产品公告，包括平台升级、API版本升级等。2022年9月19日，API版本升级公告 2022年9月19日，我们对实时计算Flink版API版本进行了升级。后续将默认使用新的API版本（V2版本）为您服务。相较于V1版本...
管理Hive Catalog
在 使用内置连接器连接 页签，选择连接器后，单击 下一步。填写建表语句并配置相关参数信息。代码示例如下。CREATE TABLE `${catalog_name}`.`${db_name}`.`${table_name}`(id INT,name STRING)WITH('connector'='hive');单击 确定。SQL...
Elasticsearch
本文为您介绍如何使用Elasticsearch连接器。背景信息 阿里云Elasticsearch阿里云Elasticsearch 兼容开源Elasticsearch的功能，以及Security、Machine Learning、Graph、APM等商业功能，致力于数据分析、数据搜索等场景服务。为您提供企业级...
使用UDAF实现数据排序和聚合
本文提供了一个自定义聚合函数（UDAF），实现将多行数据合并为一行并按照指定列进行排序，并以居民用电户电网终端数据为例，介绍如何在实时计算控制台使用该函数进行数据聚合和排序。示例数据 居民用电户电网终端数据表electric_info，包括...
云数据库HBase
本文为您介绍如何使用云数据库HBase连接器。背景信息 云数据库HBase 是低成本、高扩展、云智能的大数据NoSQL，兼容标准HBase访问协议，提供低成本存储、高扩展吞吐、智能数据处理等核心优势，是为淘宝推荐、花呗风控、广告投放、监控大屏、...
Hudi
本文为您介绍如何使用Hudi连接器。背景信息 Apache Hudi是一种开源的数据湖表格式框架。Hudi基于对象存储或者HDFS组织文件布局，保证ACID，支持行级别的高效更新和删除，从而降低数据ETL开发门槛。同时该框架还支持自动管理及合并小文件，...
Terraform
实时计算Flink版支持接入Terraform，您可以基于Terraform平台使用和管理Flink资源。背景信息 基本功能 Terraform是一种基础设施即代码（Infrastructure as Code）工具，可以通过编写简洁的代码来定义和配置云端基础设施，而不必手动操作和...
云原生内存数据库Tair
使用限制 仅Flink计算引擎VVR 6.0.6及以上版本支持云原生内存数据库Tair连接器。云原生内存数据库Tair连接器不支持配置多个host。语法结构 云原生内存数据库Tair在兼容Redis数据结构STRING、LIST、SET、HASHMAP和SORTEDSET的基础上，支持...
性能白皮书（Nexmark性能测试）
本文为您介绍如何使用Nexmark测试实时计算Flink版性能。性能表现 实时计算Flink版1 CU计算资源配置下，Nexmark 19个Queries语句的性能表现最小为5000RPS，最大55000RPS。简单业务（例如，单流过滤、字符串变换等操作）1 CU每秒可以处理...
流式数据湖仓Paimon
流式数据湖仓Paimon连接器推荐配合Paimon Catalog使用，本文为您介绍如何使用流式数据湖仓Paimon连接器。背景信息 Apache Paimon是一种流批统一的湖存储格式，支持高吞吐的写入和低延迟的查询。目前阿里云开源大数据平台E-MapReduce常见的...
管理MongoDB Catalog（公测中）
Flink SQL类型 Boolean BOOLEAN Int32 INT Int64 BIGINT Binary BYTES Double DOUBLE Decimal128 DECIMAL String STRING ObjectId STRING DateTime TIMESTAMP_LTZ(3)Timestamp TIMESTAMP_LTZ(0)Array STRING Document STRING 相关文档 ...
2022-08-18版本
新特性 特性 详情 文档 提供文件系统结果表能力 文件系统连接器支持以某种文件格式，将分区文件流式写入到阿里云对象存储OSS中，支持设置写入分区目录结构和滚动关闭策略。文件系统结果表 性能优化 特性 详情 文档 优化MaxCompute写入性能 ...
权限管理
权限概述 实时计算Flink版支持阿里云账号、RAM用户、RAM角色、资源目录成员方式登录并访问实时计算控制台，以及进行作业开发和运维。无论您采用何种方式登录（阿里云账号访问自己所拥有的资源除外），均需要具有相应的权限才能正常进行操作...
授权信息
本文为您介绍 实时计算 Flink版（RealtimeCompute）为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。实时计算 Flink版（RealtimeCompute）的RAM代码（RamCode）为 stream，支持的授权粒度为 RESOURCE。权限策略...
什么是阿里云实时计算Flink版
阿里云实时计算Flink版是一套基于Apache Flink构建的⼀站式实时大数据分析平台，提供端到端亚秒级实时数据分析能力，并通过标准SQL降低业务开发门槛，助力企业向实时化、智能化大数据计算升级转型。产品概述 阿里云实时计算Flink版是一种全...
系统检查点或作业快照
本文为您介绍实时计算Flink版系统检查点或作业快照相关的常见问题。两次Checkpoint最小间隔时间计算方式 VVR 8.x和VVR 6.x使用的GeminiStateBackend有什么区别？报错：org.apache.flink.util.SerializedThrowable 报错：You are using the ...
授权信息
本文为您介绍 实时计算 Flink版（RealtimeCompute）为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。实时计算 Flink版（RealtimeCompute）的RAM代码（RamCode）为 stream，支持的授权粒度为 RESOURCE。权限策略...
Confluent Avro
示例1：使用Kafka连接器，创建使用原始的UTF-8字符串作为Kafka的key，Schema Registry中注册的Avro记录作为Kafka的value的表。CREATE TABLE user_created(-映射到Kafka key中的原始的UTF-8字符串的列。the_kafka_key STRING,-映射到Kafka ...
地域及可用区
本文为您介绍阿里云地域和可用区的概念、选择指导以及阿里云实时计算Flink版支持的地域及可用区列表。背景信息 地域（Region）：指数据中心所在的地理区域，通常按照数据中心所在的城市划分。例如，华北2（北京）地域表示数据中心所在的...
SLB替换方案上线
为了给您提供更好的体验和节约成本，2023年9月8日起实时计算Flink版SLB替换方案分地域逐步上线，预计9月11日全地域完成替换。该替换方案旨在提供更高效的网络连接，以取代原先的负载均衡SLB服务。您新购实时计算Flink版时，无需再单独开通...
应用场景
本文将以部门场景和技术领域场景为例，为您介绍实时计算Flink版的大数据是实时化场景。说明 更多场景案例请参见 阿里云实时计算Flink版产品案例和解决方案汇总。背景信息 作为流式计算引擎，Flink可以广泛应用于实时数据处理领域，例如ECS...
查看账单
您可以在阿里云用户中心查看实时计算Flink版的费用情况。操作步骤 登录 阿里云控制台。在顶部菜单栏单击 费用，进入用户中心。在左侧导航栏，选择 账单管理>账单详情。根据需要查看消费情况或导出账单。您可以 在 明细账单 页签，消费类型 ...
监控服务ARMS Prometheus计费模式变更
自2023年12月8日起，实时计算Flink版对接ARMS Prometheus新版计费模式，可观测监控Prometheus版专家版的计费模式变更为按写入的可观测数据量收费。变更优势 相比旧版计费模式，费用预估可节省55%以上。新版计费模式下费用节省情况请参见 ...
2022-11-09版本
Apache Flink社区于Flink 1.16.0和1.15.3版本进行了修复，阿里云实时计算Flink版已经在VVR-6.0.2及以上版本修复。但是鉴于此缺陷会导致作业运行可用性存在潜在的重大风险，我们为云上客户专属进行了低版本的修复，并将此Patch放入本次发布...
修改虚拟交换机
如果您重新规划了IPv4网段或遇到作业启动...实时计算Flink版默认不具备访问公网的能力，但通过在VPC中创建NAT网关，并创建SNAT条目，将Flink所在的交换机绑定至弹性公网IP（EIP），即可通过EIP访问公网，详情请参见 Flink全托管如何访问公网？
资源抵扣包
免费试用：实时计算Flink版新用户可以在 免费试用 页面，单击实时计算Flink版卡片上的 立即试用，根据页面提示领取5000 CUH资源抵扣包，开通Flink进行试用。试用完毕后请及时释放不需要的资源，避免产生额外费用。59元优惠：在 产品规格 ...
概述
实时计算Flink版支持在Flink SQL作业中使用Python自定义函数，本文为您介绍Flink Python自定义函数的分类、Python依赖使用方法和能调优方式。自定义函数分类 分类 描述 UDSF（User Defined Scalar Function）用户自定义标量值函数，将0个、...
生命周期策略
为了更好地服务于用户，实时计算Flink版构建了生命周期管理体系，明确了产品和引擎版本生命周期策略。通过引入新产品和新版本，希望能够更好地满足您丰富的实时业务需求并高效稳定地保证业务运行结果。涉及范围 本策略涉及的范围包括阿里云...
查看与修改作业运行状态
前提条件 其他阿里云账号或RAM用户共同使用实时计算Flink版产品时，需要为阿里云账号或RAM用户授权，以进行查看与修改作业运行状态等相关操作，详情请参见 作业操作账号授权。查看作业运行状态 登录 实时计算控制台。在 Flink全托管 页签，...
Avro
支持Avro格式的连接器包括 消息队列Kafka、Upsert Kafka 和 对象存储OSS。使用示例 利用Kafka以及Avro格式构建表的示例如下。CREATE TABLE user_behavior(user_id BIGINT,item_id BIGINT,category_id BIGINT,behavior STRING,ts TIMESTAMP...
引擎版本介绍
阿里云Flink采用的是基于Apache Flink增强的企业级引擎Ververica Runtime（简称VVR）。本文为您详细介绍引擎版本号及含义、引擎服务承诺与建议。...实时计算Flink版的产品形态、发布状态及选型建议，详情请参见 产品形态。
任务编排（公测）
任务编排是一个全托管的工作流调度服务，通过可视化的操作界面轻松地编排批作业运行的顺序，构建数据仓库，在实时计算Flink版平台实现开发、调度、部署和运维一体化。重要 任务编排目前为公测功能，公测阶段不保障服务等级协议SLA。如果您...
大数据计算服务MaxCompute
使用限制 仅实时计算引擎VVR 2.0.0及以上版本支持MaxCompute连接器。MaxCompute连接器仅支持At Least Once语义。说明 At Least Once语义会保证数据不缺失，但在少部分情况下，可能会将重复数据写入MaxCompute。不同的MaxCompute Tunnel出现...
废弃或恢复监控指标
如果您不需要实时计算Flink版监控告警功能或某些监控指标，您可以关闭对应工作空间的监控告警或废弃具体指标，以节省费用，后续有需要时可以重新恢复指标采集。本文为您介绍如何关闭监控告警、废弃监控指标，以及对应的恢复操作。注意事项 ...
实时计算Blink产品公告（已停止新购）
2019年5月29日-北京、上海地区实时计算Flink版共享模式停止售卖 自2019年5月29日起，停止售卖北京和上海地区共享模式的实时计算Flink版。2019年3月14日-共享模式默认版本升级为2.2.7 自2019年3月14日起，实时计算Flink版共享模式默认版本...
按登录方式授权
实时计算Flink版支持阿里云账号、阿里云RAM用户、阿里云RAM角色、资源目录成员方式登录并访问实时计算控制台，以及进行作业开发和运维。不同登录方式下需要被授权的主体（身份或账号）可能不同，本文通过示例为您介绍不同登录方式下，访问...
网络架构升级
为了提高服务质量并满足不断增长的业务需求，我们将对实时计算Flink版网络架构进行重要升级。此次升级旨在优化IP资源的使用效率，加强网络安全隔离措施，并为支持同城高可用CU类型奠定基础，为您带来更加稳健和高效的数据处理体验。您可以...
Raw
Raw格式连接器是内置的。支持Raw格式的连接器包括 消息队列Kafka、Upsert Kafka 和 对象存储OSS。使用方法 例如，在Kafka中具有以下原始格式的日志数据，并希望使用Flink SQL读取和分析此类数据。47.xx.xx.179-[28/Feb/2019:13:17:10+0000]...
云监控与ARMS告警服务功能对比
实时计算Flink版支持选择云监控（免费监控服务）或ARMS可观测监控Prometheus版监控服务为您提供作业监控告警功能。本文介绍云监控和ARMS在Flink监控告警上的功能差异，您可以根据实际需要进行选择。功能对比 对比项 功能 ARMS 云监控 服务...
- 产品推荐
- 这些文档可能帮助您