安全白皮书
实时计算Flink版完全兼容开源Apache Flink API，从访问控制、网络、存储、备份恢复、操作审计等方面，提供全面的安全加固功能来保障您的数据安全。租户隔离 支持多租户的使用场景，通过阿里云账号认证体系（认证方式采用AccessKey对称密钥...
废弃或恢复监控指标
如果您不需要实时计算Flink版监控告警功能或某些监控指标，您可以关闭对应工作空间的监控告警或废弃具体指标，以节省费用，后续有需要时可以重新恢复指标采集。本文为您介绍如何关闭监控告警、废弃监控指标，以及对应的恢复操作。注意事项 ...
算子探查（公测）
实时计算Flink版提供了算子探查功能，可以在不修改作业的情况下，探查选中算子的输入输出情况，帮助您更好地排查数据正确性问题。使用限制 仅支持运行中的SQL作业。仅支持实时计算引擎VVR 8.0.4及以上版本作业。不支持CTAS、CDAS作业。不...
按登录方式授权
实时计算Flink版支持阿里云账号、阿里云RAM用户、阿里云RAM角色、资源目录成员方式登录并访问实时计算控制台，以及进行作业开发和运维。不同登录方式下需要被授权的主体（身份或账号）可能不同，本文通过示例为您介绍不同登录方式下，访问...
网络架构升级
为了提高服务质量并满足不断增长的业务需求，我们将对实时计算Flink版网络架构进行重要升级。此次升级旨在优化IP资源的使用效率，加强网络安全隔离措施，并为支持同城高可用CU类型奠定基础，为您带来更加稳健和高效的数据处理体验。您可以...
通过Flink读写云原生数据仓库AnalyticDB PostgreSQL版...
本文介绍如何通过阿里云实时计算Flink版实时读写云原生数据仓库 AnalyticDB PostgreSQL版 数据。背景信息 云原生数据仓库AnalyticDB PostgreSQL版 是一种大规模并行处理（MPP）数据仓库服务，可提供海量数据在线分析服务。实时计算Flink版 ...
2024-04-01版本
本文为您介绍2024年4月1日发布的实时计算Flink版的重大功能变更和主要缺陷修复。重要 本次升级计划在全网逐步进行灰度，预计3-4周完成全部升级，具体计划请关注 实时计算控制台 页面右侧的最新公告。如果您不能使用相关新功能，说明您的...
云监控与ARMS告警服务功能对比
实时计算Flink版支持选择云监控（免费监控服务）或ARMS可观测监控Prometheus版监控服务为您提供作业监控告警功能。本文介绍云监控和ARMS在Flink监控告警上的功能差异，您可以根据实际需要进行选择。功能对比 对比项 功能 ARMS 云监控 服务...
使用内置公开数据集快速体验实时计算Flink版
本文为您介绍如何基于阿里云实时计算Flink版内置的GitHub公开事件样例数据，快速体验实时计算Flink版产品的实时数据分析功能。注意事项 如果您是实时计算Flink版新用户，可以申请该产品的免费资源包，免费试用体验实时计算Flink版产品的...
企业级状态后端存储介绍
GeminiStateBackend是一款面向流计算场景的KV存储引擎，作为实时计算Flink版产品的默认状态存储后端（StateBackend）。本文为您介绍企业级状态后端存储GeminiStateBackend的核心设计，以及其与RocksDBStateBackend的性能对比情况。整体介绍...
自定义监控指标上报渠道
仅上报到Flink控制台外的其他渠道时 实时计算Flink版不再为您开通ARMS或云监控服务，Flink开发控制台不显示监控指标，您可以在对应的指标上报的平台进行查看。在Flink开发控制台已有的告警配置会失效（详情请参见 配置监控告警），后续也...
API概览
本产品（实时计算 Flink版/2022-07-18）的OpenAPI采用 ROA 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求...
项目空间授权
角色支持的功能 实时计算Flink版支持添加阿里云账号、RAM用户、RAM角色账号扮演的阿里云主账号为成员，并对添加的成员绑定owner、editor或viewer角色。不同角色可以使用的功能差异如下表所示。功能 owner editor viewer 查看作业列表 Y Y Y...
管理自定义连接器
注意事项 您需要根据社区定义的连接器标准开发您自定义的连接器，才能正确地被实时计算Flink版识别并使用，因此您需要明确连接器Meta文件和声明Factory类。自定义连接器开发详情请参见 User-defined Sources&Sinks。同种类型的连接器仅可以...
Flink JAR作业快速入门
本文带您快速体验Flink JAR流作业和批作业的创建、部署和启动，以了解实时计算Flink版JAR作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 权限管理。已创建Flink工作空间...
资源调整
实时计算Flink版支持对工作空间和项目空间的资源进行调整。您可以创建多个项目空间，为每个项目空间分配单独的资源和权限，通过项目空间实现资源和权限的完全隔离。本文为您介绍如何进行工作空间和项目空间的资源调整。注意事项 当RAM用户...
按量付费
按量付费是一种后付费的计费模式，无需您提前购买大量资源，系统会根据您工作空间实际的资源使用量进行结算。本文将为您介绍按量付费的计费规则、不同地域的单价以及停止计费的相关信息。...开通工作空间操作，请参见 开通实时计算Flink版。
复杂事件处理（CEP）语句
背景信息 相较于Apache Flink的CEP SQL，实时计算Flink版在其基础上进行了增强。例如，支持输出超时匹配、支持松散连接（followedBy）、支持指定事件之间的连续性等。关于Apache Flink CEP SQL的基本能力，详情请参见 Pattern Recognition...
基于Flink+Hologres搭建实时数仓
本文介绍如何通过实时计算Flink版和实时数仓Hologres搭建实时数仓。背景信息 随着社会数字化发展，企业对数据时效性的需求越来越强烈。除传统的面向海量数据加工场景设计的离线场景外，大量业务需要解决面向实时加工、实时存储、实时分析的...
Flink Python作业快速入门
本文带您快速体验Flink Python流作业和批作业的创建、部署和启动，以了解实时计算Flink版Python作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 权限管理。已创建Flink...
管理Paimon Catalog
Paimon Catalog使用的OSS Bucket必须与实时计算Flink版位于同一地域，且开通实时计算Flink版服务的账号必须有权限读写该OSS Bucket。注意事项 目前由于Flink全托管相关缓存机制，通过SQL方式进行Catalog、Database和table的增删，无法立刻...
操作指导
本文为您介绍实时计算Flink版的操作指导方面的常见问题，包括控制台操作、网络连通性和JAB包等问题。控制台操作 登录实时计算控制台提示当前账号缺少权限 如何在OSS控制台上传JAR包？如何配置作业运行参数？如何开启GC日志？如何查找引发告...
Python作业开发
本文为您介绍Flink Python API作业开发的背景信息、使用限制、开发方法、调试方法和连接器使用等。背景信息 Flink Python作业需要您在本地完成...实时计算Flink版还支持运行SQL和DataStream作业，开发方法请参见 SQL作业开发 和 JAR作业开发。
Flink SQL作业快速入门
已创建Flink工作空间，详情请参见 开通实时计算Flink版。步骤一：创建作业 进入SQL作业创建页面。登录 实时计算控制台。单击目标工作空间 操作 列下的 控制台。在左侧导航栏，单击 SQL开发。单击 新建。单击 空白的流作业草稿。Flink也为您...
JAR作业开发
Flink源代码中只有明确标注了@Public或者@PublicEvolving的才是公开供用户调用的方法，阿里云实时计算Flink版只对这些方法的兼容性做出产品保证。如果是Flink服务内置的Connector支持的datastream api，建议使用其内置的依赖。作业开发 ...
支持的连接器
表类型的定义 阿里云实时计算Flink版通过Flink SQL定义表对上下游存储进行映射或者使用Datastream API进行连接来实现读写。支持以下几种Flink SQL表类型的定义：源表（Source Table）Flink作业的数据输入表，是计算的驱动来源。不能作为维...
概述
实时计算Flink版支持在Flink SQL作业中使用Java自定义函数，本文介绍Flink Java自定义函数的分类、参数传递及调用注意事项。注意事项 为了避免JAR包依赖冲突，在开发自定义函数时您需要注意以下几点：SQL开发页面选择的Flink版本，请和Pom...
配置监控告警
实时计算Flink版默认使用云监控（免费监控服务）或ARMS提供监控报警服务，配置作业指标或事件监控告警，便于您及时发现并处理异常。本文为您介绍使用不同监控服务时如何配置监控告警。使用限制 部署时提交至Session集群的Flink作业不支持...
Flink动态CEP快速入门
实时计算Flink版支持通过DataStream作业的方式运行支持规则动态更新的Flink CEP作业。本文结合实时营销中的反作弊场景，为您介绍如何基于Flink全托管快速构建一个动态加载最新规则来处理上游Kafka数据的Flink CEP作业。背景信息 在电商平台...
CREATE DATABASE AS（CDAS）语句
示例四：多CDAS&CTAS语句 实时计算Flink版支持使用STATEMENT SET语法将多个CTAS语句作为一个作业一起提交，并且可以对Source进行优化，复用一个Source节点读取多业务表的数据。这对于MySQL CDC数据源场景尤为适用，因为这可以减少server-id...
数据库实时入仓快速入门
实时计算Flink版提供了丰富强大的数据实时入仓能力。通过Flink的全增量自动切换、元信息自动发现、表结构变更自动同步和整库同步等功能，简化了数据实时入仓的链路，使得实时数据同步更加高效便捷。本文介绍如何快速构建一个从MySQL到...
作业启动问题
详情请参见 开通实时计算Flink版。解决方案 在OSS上配置生命周期规则来定期清理删除标记和不必要的历史版本，详情请参见 使用最后一次修改时间的生命周期规则结合版本控制降低存储成本。报错：Job was submitted in detached mode.Results ...
基于Flink+Paimon搭建流式湖仓
本文为您介绍如何通过实时计算Flink版和流式数据湖仓Paimon搭建流式湖仓。背景信息 随着社会数字化发展，企业对数据时效性的需求越来越强烈。传统的离线数仓搭建方法论比较明确，通过定时调度离线作业的方式，将上一时段产生的新鲜变更并入...
作业状态集管理
系统检查点（Checkpoint）和作业快照（Savepoint）统称为状态集。...相关文档 实时计算Flink版系统检查点或作业快照相关的常见问题，请参见 系统检查点或作业快照。SQL修改所造成的兼容性影响详情，请参见 SQL修改及兼容性。
云消息队列 RocketMQ 版
重要 鉴于 云消息队列 RocketMQ 版 4.x标准版当前最高可达每秒5千条消息的限速机制，使用该版作为实时计算Flink版对接的消息中间件，可能会导致Flink作业运行不稳定。因此，在选择消息中间件时，如果您正在或计划通过标准版RocketMQ与Flink...
包年包月
包年包月是一种先付费后使用的计费方式，在购买时根据购买时长预先支付了费用。适用于具有长期稳定，可预估资源使用周期的业务场景。本文为您介绍包年包月付费模式的计费规则、计费周期和...开通工作空间操作，请参见 开通实时计算Flink版。
基于Paimon的数据库实时入湖快速入门
目前阿里云实时计算Flink版，以及开源大数据平台E-MapReduce上常见的计算引擎（例如Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者OSS上构建自己的数据湖存储服务，并接入计算引擎实现数据...
CREATE TABLE AS（CTAS）语句
示例四：多个CTAS语句作为一个作业提交 实时计算Flink版支持使用STATEMENT SET语法将多个CTAS语句作为一个作业一起提交，并且可以对Source进行优化，复用一个Source节点读取多业务表的数据。这对于MySQL CDC数据源场景尤为适用，因为这可以...
日志服务SLS
说明 实时计算Flink版默认不具备访问公网的能力，但阿里云提供的NAT网关可以实现VPC网络与公网网络互通，详情请参见 Flink全托管如何访问公网？project SLS项目名称。String 是 无 无。logStore SLS LogStore或metricstore名称。String 是 ...
实时计算Flink版实时消费Hologres
本文为您介绍实时计算Flink版消费Hologres的详情。使用限制 Hologres 0.10及以下版本，已存在的表无法修改表属性开启Binlog，需要重新建表。Hologres V1.1及以上版本，可以根据业务需要选择开启或关闭Binlog能力，同时支持配置TTL满足不同...
- 产品推荐
- 这些文档可能帮助您