Flink SQL作业快速入门
已创建Flink工作空间，详情请参见 开通实时计算Flink版。步骤一：创建作业 进入SQL作业创建页面。登录 实时计算控制台。单击目标工作空间 操作 列下的 控制台。在左侧导航栏，单击 SQL开发。单击 新建。单击 空白的流作业草稿。Flink也为您...
实时计算开发控制台显示服务暂不可用
问题描述 实时计算开发控制台显示服务暂不可用。问题原因 1....SLB可以让您以公网的形式访问Flink全托管实例，如果SLB欠费7天没有续费，SLB将会被释放，释放后就不能通过公网访问。2.VVP版本更新可能会导致一段时间内...适用范围 实时计算Flink版
实时计算Flink版的审计事件
实时计算Flink版已与操作审计服务集成，您可以在操作审计中查询用户操作实时计算Flink版产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了...
Table/SQL JAR迁移至JAR
本文为您介绍如何将自建Flink集群上的Table/SQL JAR作业，迁移至实时计算Flink全托管的JAR作业。背景信息 本文将使用开源JDBC Connector写阿里云RDS的方式进行作业迁移，因此需要额外配置附加依赖文件选项。实时计算Flink全托管版集群内置...
JAR作业开发
Flink源代码中只有明确标注了@Public或者@PublicEvolving的才是公开供用户调用的方法，阿里云实时计算Flink版只对这些方法的兼容性做出产品保证。如果是Flink服务内置的Connector支持的datastream api，建议使用其内置的依赖。作业开发 ...
通过实时计算（Flink）访问HBase增强版
您可以使用社区版Flink或阿里云实时计算版Flink访问HBase增强版集群。本文介绍同时适用于阿里云实时计算版Flink和社区版Flink访问HBase增强版集群的方法。背景信息 您可以将HBase增强版中的表作为Flink中的维表或结果表，并通过Flink SQL...
Flink全托管资源管理
Flink全托管资源 阿里云实时计算Flink版是阿里云基于Apache Flink构建的一站式实时大数据分析平台，提供端到端亚秒级实时数据分析能力，有关Flink全托管资源的详细信息请参见 Flink全托管资源概述。前提条件 在开始执行操作之前，请确认您...
Flink VVP+DLF数据入湖与分析实践
数据湖构建（DLF）可以结合阿里云实时计算Flink版（Flink VVP），以及Flink CDC相关技术，实现灵活定制化的数据入湖。并利用DLF统一元数据管理、权限管理等能力，实现数据湖多引擎分析、数据湖管理等功能。本文为您介绍Flink+DLF数据湖方案...
管理Paimon Catalog
Paimon Catalog使用的OSS Bucket必须与实时计算Flink版位于同一地域，且开通实时计算Flink版服务的账号必须有权限读写该OSS Bucket。注意事项 目前由于Flink全托管相关缓存机制，通过SQL方式进行Catalog、Database和table的增删，无法立刻...
实时计算Flink读写OSS或者OSS-HDFS
具体操作，请参见 开通实时计算Flink版。开通Flink全托管后，Flink全托管 页签将在5~10分钟内显示已创建完成的 工作空间。已创建SQL作业。创建SQL作业时，Flink计算引擎需选择VVR 8.0.1及以上版本。具体操作，请参见 新建作业。使用限制 仅...
复杂事件处理（CEP）语句
背景信息 相较于Apache Flink的CEP SQL，实时计算Flink版在其基础上进行了增强。例如，支持输出超时匹配、支持松散连接（followedBy）、支持指定事件之间的连续性等。关于Apache Flink CEP SQL的基本能力，详情请参见 Pattern Recognition...
使用阿里云Flink（流式数据传输）
实时计算Flink版内置插件支持通过批量数据通道写入MaxCompute，受到批量数据通道并发数及存储文件数影响，内置版本插件会有性能瓶颈。MaxCompute提供了使用流式数据通道的Flink插件，支持使用Flink在高并发、高QPS场景下写入MaxCompute。...
支持的连接器
表类型的定义 阿里云实时计算Flink版通过Flink SQL定义表对上下游存储进行映射或者使用Datastream API进行连接来实现读写。支持以下几种Flink SQL表类型的定义：源表（Source Table）Flink作业的数据输入表，是计算的驱动来源。不能作为维...
教程概述
本案例使用阿里云DTS将您的增量数据同步到DataHub上，再通过阿里云实时计算Flink订阅DataHub的数据进行实时计算，并将结果插入到RDS数据库中，最终通过DataV大屏进行展示。说明 本案例仅提供具体的操作指导，业务场景和数据与实际情况会有...
概述
实时计算Flink版支持在Flink SQL作业中使用Java自定义函数，本文介绍Flink Java自定义函数的分类、参数传递及调用注意事项。注意事项 为了避免JAR包依赖冲突，在开发自定义函数时您需要注意以下几点：SQL开发页面选择的Flink版本，请和Pom...
配置监控告警
实时计算Flink版默认使用云监控（免费监控服务）或ARMS提供监控报警服务，配置作业指标或事件监控告警，便于您及时发现并处理异常。本文为您介绍使用不同监控服务时如何配置监控告警。使用限制 部署时提交至Session集群的Flink作业不支持...
Flink动态CEP快速入门
实时计算Flink版支持通过DataStream作业的方式运行支持规则动态更新的Flink CEP作业。本文结合实时营销中的反作弊场景，为您介绍如何基于Flink全托管快速构建一个动态加载最新规则来处理上游Kafka数据的Flink CEP作业。背景信息 在电商平台...
2022-05-16版本
无 新增产品公告能力 实时计算Flink版在作业控制台上新增了产品公告的能力，您可以直接接收到包括产品升级在内的各种用户须知信息。这样可以有效避免通过短信、站内信、钉钉群等途径无法完全触达终端用户的问题。无 UI优化 支持全新阿里云...
功能发布记录
Flink产品重大变更或者活动公告信息请在 实时计算控制台 或者 实时计算Flink版产品公告 上进行查看。企业级状态后端存储GeminiStateBackend，以及其与RocksDBStateBackend的性能对比情况，请参见 企业级状态后端存储介绍。
数据库实时入仓快速入门
实时计算Flink版提供了丰富强大的数据实时入仓能力。通过Flink的全增量自动切换、元信息自动发现、表结构变更自动同步和整库同步等功能，简化了数据实时入仓的链路，使得实时数据同步更加高效便捷。本文介绍如何快速构建一个从MySQL到...
在大数据平台中集成Tair
本文介绍如何在不同大数据分析平台中接入 云原生内存数据库Tair。常见大数据分析平台集成 Tair 的方法如下：大数据开发治理平台DataWorks：请参见 配置Redis Writer插件。说明 Tair 完全兼容Redis，您...实时计算Flink版：请参见 Tair连接器。
作业启动问题
详情请参见 开通实时计算Flink版。解决方案 在OSS上配置生命周期规则来定期清理删除标记和不必要的历史版本，详情请参见 使用最后一次修改时间的生命周期规则结合版本控制降低存储成本。报错：Job was submitted in detached mode.Results ...
实时模式配置概述
配置项 描述 资源配置 开源Flink实时计算源 对于开源Flink创建的实时任务，任务的实时模式资源配置支持配置任务的生产环境和开发环境的资源队列、引擎版本以及任务的并行度、Task Manager数量、Job Manager Momory和Task Manager Momory。...
基于Flink的资讯场景实时数仓
本文介绍如何针对资讯聚合类业务场景搭建基于 云消息队列 Kafka 版 和实时计算Flink的实时数仓。场景描述 本文首先介绍什么是实时数仓以及相关技术架构，接着介绍资讯聚合类业务的典型场景及其业务目标，并据此设计了相应的技术架构。然后...
通过实时计算处理数据并同步到Elasticsearch
当您需要构建一个日志检索系统时，可通过实时计算Flink对日志数据进行计算后，输出到Elasticsearch进行搜索。本文以阿里云日志服务SLS（Log Service）为例，为您介绍具体的实现方法。前提条件 您已完成以下操作：开通阿里云实时计算服务并...
概览
实时数仓Hologres连接器 实时计算Flink版实时消费Hologres 1.17 8.0.3 2.0.x 2.1.x 通用：无论Hologres实例版本，维表和结果表都已不再支持RPC模式。若选择RPC模式，将自动切换为jdbc_fixed模式，如果实例版本较低，建议升级版本。实时数仓...
CREATE DATABASE AS（CDAS）语句
示例四：多CDAS&CTAS语句 实时计算Flink版支持使用STATEMENT SET语法将多个CTAS语句作为一个作业一起提交，并且可以对Source进行优化，复用一个Source节点读取多业务表的数据。这对于MySQL CDC数据源场景尤为适用，因为这可以减少server-id...
AI计算资源概述
Flink全托管资源 阿里云实时计算Flink版是阿里云基于Apache Flink构建的一站式实时大数据分析平台，提供端到端亚秒级实时数据分析能力，有关Flink全托管资源的详细信息请参见 什么是阿里云实时计算Flink版。您可以在 资源配额 页面购买...
通过Flink读写AnalyticDB PostgreSQL数据
本文介绍如何通过阿里云实时计算Flink版实时读写云原生数据仓库 AnalyticDB PostgreSQL版 数据。背景信息 云原生数据仓库AnalyticDB PostgreSQL版 是一种大规模并行处理（MPP）数据仓库服务，可提供海量数据在线分析服务。实时计算Flink版 ...
作业状态集管理
系统检查点（Checkpoint）和作业快照（Savepoint）统称为状态集。...相关文档 实时计算Flink版系统检查点或作业快照相关的常见问题，请参见 系统检查点或作业快照。SQL修改所造成的兼容性影响详情，请参见 SQL修改及兼容性。
基于Flink+Paimon搭建流式湖仓
本文为您介绍如何通过实时计算Flink版和流式数据湖仓Paimon搭建流式湖仓。背景信息 随着社会数字化发展，企业对数据时效性的需求越来越强烈。传统的离线数仓搭建方法论比较明确，通过定时调度离线作业的方式，将上一时段产生的新鲜变更并入...
分场景排错指引
本文为您介绍实时计算Flink版分场景排错指引方面的常见问题，包括权限、运维和数据异常等问题。权限 不小心删除了角色或者变更了授权策略，导致Flink全托管服务不可用怎么办？运维 JobManager没有运行起来，如何快速定位问题？Python作业，...
系统检查点或作业快照
本文为您介绍实时计算Flink版系统检查点或作业快照相关的常见问题。两次Checkpoint最小间隔时间计算方式 VVR 8.x和VVR 6.x使用的GeminiStateBackend有什么区别？报错：org.apache.flink.util.SerializedThrowable 报错：You are using the ...
Datastream JAR迁移
本文为您介绍如何将自建Flink集群上的Datastream JAR作业，迁移至实时计算Flink全托管的JAR作业类型中。背景信息 本文介绍的迁移场景如下图所示。前提条件 本地已安装Maven 3.x。已在 Maven资源中心 下载了开源JDBC Connector包，包括 ...
日志服务SLS
说明 实时计算Flink版默认不具备访问公网的能力，但阿里云提供的NAT网关可以实现VPC网络与公网网络互通，详情请参见 Flink全托管如何访问公网？project SLS项目名称。String 是 无 无。logStore SLS LogStore或metricstore名称。String 是 ...
实时数据集成的连接器
本文介绍如何使用实时计算Flink版集成物联网平台数据的连接器（IoT Connector）。下载连接器（IoT Connector）连接器文件：iot-flink-connector-source.jar。支持的数据类型 数据类型 物联网平台存储表的数据类型 Flink配置的数据类型 整型...
管理StarRocks Catalog
详情请参见 基于实时计算Flink使用CTAS&CDAS功能同步MySQL数据至StarRocks。删除StarRocks Catalog UI方式 进入元数据管理页面。登录 实时计算控制台。在 Flink全托管 页签，单击目标工作空间 操作 列下的 控制台。单击 元数据管理。在 ...
包年包月
包年包月是一种先付费后使用的计费方式，在购买时根据购买时长预先支付了费用。适用于具有长期稳定，可预估资源使用周期的业务场景。本文为您介绍包年包月付费模式的计费规则、计费周期和...开通工作空间操作，请参见 开通实时计算Flink版。
实时计算Flink版实时消费Hologres
本文为您介绍实时计算Flink版消费Hologres的详情。使用限制 Hologres 0.10及以下版本，已存在的表无法修改表属性开启Binlog，需要重新建表。Hologres V1.1及以上版本，可以根据业务需要选择开启或关闭Binlog能力，同时支持配置TTL满足不同...
Flink/Blink实时消费Hologres Binlog
url 目标实时计算Flink版项目任意一个作业的连接地址。AccessKeyID 能访问实时计算Flink版项目空间的账号AccessKey ID。AccessKeySecret 能访问实时计算Flink版项目空间的账号AccessKey Secret。binlog/rpc 需要检查的作业内容，取值如下：...
- 产品推荐
- 这些文档可能帮助您