APPROX_COUNT_DISTINCT
使用限制 仅实时计算引擎VVR 3.0.0及以上版本支持APPROX_COUNT_DISTINCT函数。背景信息 Count Distinct优化时，Aggregate节点的State需要保存所有Distinct Key信息。当Distinct Key数目过大时，State的读写开销太大，因此Count Distinct...
实时计算Flink版应用场景
相关文档 什么是阿里云实时计算Flink版 应用场景 开通Flink全托管
实时计算Flink版技术原理
相关文档 什么是阿里云实时计算Flink版 功能与优势 基本概念 开通Flink全托管
实时计算Flink版技术场景
相关文档 什么是阿里云实时计算Flink版 功能与优势 应用场景 开通Flink全托管
Python作业开发
本文为您介绍Flink Python API作业开发的背景信息、使用限制、开发方法、调试方法和连接器使用等。背景信息 Flink Python作业需要您在本地完成...实时计算Flink版还支持运行SQL和DataStream作业，开发方法请参见 SQL作业开发 和 JAR作业开发。
什么是阿里云实时计算Flink版
相关文档 什么是阿里云实时计算Flink版
基于Flink+Hologres搭建实时数仓
本文介绍如何通过实时计算Flink版和实时数仓Hologres搭建实时数仓。背景信息 随着社会数字化发展，企业对数据时效性的需求越来越强烈。除传统的面向海量数据加工场景设计的离线场景外，大量业务需要解决面向实时加工、实时存储、实时分析的...
实践教程
EMR on ECS 手工缩容节点组 更换集群损坏的本地盘 为集群配置弹性伸缩规则 EMR Serverless StarRocks 基于DataFlow集群的Flink服务使用CTAS语句同步MySQL数据至StarRocks 基于实时计算Flink使用CTAS语句同步MySQL数据至StarRocks 使用Flink...
管理StarRocks Catalog
详情请参见 基于实时计算Flink使用CTAS&CDAS功能同步MySQL数据至StarRocks。删除StarRocks Catalog UI方式 进入元数据管理页面。登录 实时计算控制台。在 Flink全托管 页签，单击目标工作空间 操作 列下的 控制台。单击 元数据管理。在 ...
MULTI_KEYVALUE
使用限制 仅实时计算引擎VVR 3.0.0及以上版本支持MULTI_KEYVALUE函数。语法 MULTI_KEYVALUE(VARCHAR str,VARCHAR split1,VARCHAR split2,VARCHAR key_name1,VARCHAR key_name2,.)入参 参数 数据类型 说明 str VARCHAR 目标字符串。split1 ...
使用UDAF实现数据排序和聚合
本文提供了一个自定义聚合函数（UDAF），实现将多行数据合并为一行并按照指定列进行排序，并以居民用电户电网终端数据为例，介绍如何在实时计算控制台使用该函数进行数据聚合和排序。示例数据 居民用电户电网终端数据表electric_info，包括...
JAR作业开发
Flink源代码中只有明确标注了@Public或者@PublicEvolving的才是公开供用户调用的方法，阿里云实时计算Flink版只对这些方法的兼容性做出产品保证。如果是Flink服务内置的Connector支持的datastream api，建议使用其内置的依赖。作业开发 ...
OVER窗口
在实时计算的底层实现中，OVER窗口的数据进行全局统一管理（数据只存储1份），逻辑上为每1个元素维护1个OVER窗口，为每1个元素进行窗口计算，完成计算后会清除过期的数据。详情请参见 Over Aggregation。语法 SELECT agg1(col1)OVER...
应用场景
本文将以部门场景和技术领域场景为例，为您介绍实时计算Flink版的大数据是实时化场景。说明 更多场景案例请参见 阿里云实时计算Flink版产品案例和解决方案汇总。背景信息 作为流式计算引擎，Flink可以广泛应用于实时数据处理领域，例如ECS...
功能与优势
本文为您介绍阿里云实时计算Flink全托管产品的功能点和价值，以及和开源Flink的对比优势。类型 功能 描述 价值 性能与成本 兼容性 全面兼容开源Flink，包括各层API、参数配置及SQL语法等。更好的引擎性能和更细粒度资源配置使得整体TCO优于...
Flink全托管资源管理
说明 如果您首次使用Flink全托管资源，则需要执行该操作步骤，并参考 开通实时计算Flink版 购买Flink全托管资源。如果您想购买更多Flink全托管资源，可以执行后续操作步骤。在Flink全托管页面中，单击 资源管理。在 实时计算控制台 页面，...
Confluent+实时计算Flink版最佳实践
本文提供使用 流数据服务Confluent和实时计算Flink版搭建实时计算平台的最佳实践。业务背景 在阿里云上开展实际业务往往需要进行实时数据分析，实现流式数据实时计算，Confluent+VVP是一个常用的处理方案。流数据服务Confluent是阿里云基于...
搭建基础环境
鼠标悬浮在 开源Flink迁移实时计算Flink全托管版 上，单击 基于方案新建。修改EMR-Flink集群密码。说明 本文使用EMR-Flink作为用户自建Flink集群来运行迁移前的作业，以此来对比验证自建Flink迁移后的作业运行结果。如果您已经有了自建...
通过实时计算处理数据并同步到Elasticsearch
当您需要构建一个日志检索系统时，可通过实时计算Flink对日志数据进行计算后，输出到Elasticsearch进行搜索。本文以阿里云日志服务SLS（Log Service...如果您有更复杂的Elasticsearch写入需求，可以使用实时计算Flink的自定义Sink功能来实现。
社区版CDC
本文为您介绍如何在阿里云实时计算Flink版中使用社区版CDC（Change Data Capture）连接器，以及更改连接器名称。重要 社区版CDC连接器是遵循Apache 2.0开源协议的社区开源项目，与阿里云实时计算Flink版产品提供的商业版连接器在服务支持及...
Flink动态CEP快速入门
实时计算Flink版支持通过DataStream作业的方式运行支持规则动态更新的Flink CEP作业。本文结合实时营销中的反作弊场景，为您介绍如何基于Flink全托管快速构建一个动态加载最新规则来处理上游Kafka数据的Flink CEP作业。背景信息 在电商平台...
数据库实时入仓快速入门
实时计算Flink版提供了丰富强大的数据实时入仓能力。通过Flink的全增量自动切换、元信息自动发现、表结构变更自动同步和整库同步等功能，简化了数据实时入仓的链路，使得实时数据同步更加高效便捷。本文介绍如何快速构建一个从MySQL到...
2021-03-16版本
修改部署目标（所修改的部署目标要有Flink 1.11版本）、资源配置、日志配置、K8s配置、Flink镜像仓库名称、URL地址、Tag这些操作可以继续使用Flink 1.11运行作业。除此之外，其他修改需要将作业版本升级到Flink 1.12。升级策略变更 新版本...
技术支持
实时计算控制台功能主要包括：工作空间购买流程 工作空间创建流程 工作空间扩缩容流程 创建与管理项目空间流程 负责实时计算Flink版产品功能使用咨询服务、产品缺陷问题处理、集群稳定性问题处理。协助排查实时计算Flink版产品依赖的其他...
作业停止
登录 实时计算控制台。在 Flink全托管 页签，单击对应工作空间 操作 列下的 控制台。在 作业运维 页面，单击目标作业 操作 列下的 停止。更多设置中的选项说明如下：停止前创建一次快照：如果您需要在停止前创建一次快照，则需要先单击 更...
2023-08-21版本
具体升级计划，请关注 实时计算控制台 页面右侧的最新公告。概述 2023年8月21日正式对外发布Flink全托管的新版本，包含引擎更新、连接器更新、性能优化以及缺陷修复。引擎侧将正式对外发布VVR 8.0.1版本，该版本是基于Apache Flink 1.17.1...
StarRocks
CDAS可以实现整库同步或者同一库中的多表结构和数据同步，详情请参见 基于实时计算Flink使用CTAS&CDAS功能同步MySQL数据至StarRocks。前提条件 已创建StarRocks集群，包括EMR的StarRocks或基于ECS的云上自建StarRocks。使用限制 仅实时计算...
系统检查点或作业快照
实时计算Flink版计算引擎VVR 6.x默认使用V3版本的GeminiStateBackend，VVR 8.x默认使用V4版本的GeminiStateBackend。分类 详情 基础能力 旧版（V3）：支持的功能包括KV分离、存算分离、标准或原生格式作业快照、状态懒加载等。新版（V4）：...
云数据库RDS MySQL版
如果您可以预估一条数据对应的维表数据最多为n条，则可以设置 maxJoinRows='n'，以确保实时计算匹配处理效率。类型映射 Flink字段类型 RDS MySQL字段类型 BOOLEAN BOOLEAN TINYINT TINYINT TINYINT(1)说明 仅维表支持该映射。BOOLEAN ...
实时数仓Hologres
从VVR 3.0.0版本开始，支持实时消费Hologres数据，详情请参见 实时计算Flink版实时消费Hologres。从VVR 6.0.3版本开始，Hologres源表在批模式读取时支持filter下推，详见源表独有参数 enable_filter_push_down。Hologres CDC模式暂不支持...
2022-03-04版本
定位慢Checkpoint并查看对应Task Managers的日志 支持云原生数据仓库AnalyticDB PostgreSQL版结果表和维表 Flink支持将数据写入云原生数据仓库AnalyticDB PostgreSQL版结果表 Flink支持关联云原生数据仓库AnalyticDB PostgreSQL版，进行...
Flink全托管
Flink全托管产品（Flink Serverless）是基于Apache Flink构建的全托管产品，为您提供全托管的实时计算服务。Hologres与Flink全托管高度兼容，支持Hologres源表、维表和结果表，以及Catalog等功能，满足一站式实时数仓建设。本文为您介绍...
查看作业性能
背景信息 您可以在 实时计算开发控制台，通过火焰图、内存动态与线程动态，查看运行中作业的Job Manager和运行Task Managers的性能，详情请参见下表。类别 详情 火焰图 CPU耗时：通常顶层占据宽度比较大的函数消耗的CPU比较多，表示该类...
计算与分析概述
Flink 宽表模型 时序模型 使用Flink 通过实时计算Flink访问 表格存储 中的源表、维表或者结果表，实现大数据实时计算与分析。目前数据表支持作为源表、维表或者结果表，时序表只支持作为结果表。PrestoDB 宽表模型 通过PrestoDB使用...
SQL作业开发
登录 实时计算控制台。在 Flink全托管 页签，单击目标工作空间 操作 列下的 控制台。在 SQL开发 页面，单击 新建。单击 空白的流作业草稿。Flink全托管为您提供了丰富的SQL代码模板和数据同步模板，每种模板都为您提供了使用场景、代码示例...
计费概述
相关项 说明 相关文档 计费项 为您介绍Flink全托管产品的资源估算、计费项以及相关计算公式，以便您对支付的费用组成有所了解。计费项 计费方式 Flink全托管支持包年包月和按量付费两种计费方式，通过此部分内容您可以分别了解两种计费方式...
基于Paimon的数据库实时入湖快速入门
目前阿里云实时计算Flink版，以及开源大数据平台E-MapReduce上常见的计算引擎（例如Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者OSS上构建自己的数据湖存储服务，并接入计算引擎实现数据...
实时数据集成的连接器
本文介绍如何使用实时计算Flink版集成物联网平台数据的连接器（IoT Connector）。下载连接器（IoT Connector）连接器文件：iot-flink-connector-source.jar。支持的数据类型 数据类型 物联网平台存储表的数据类型 Flink配置的数据类型 整型...
通过实时计算Flink读写云原生数据仓库AnalyticDB ...
通过实时计算Flink版写入数据到AnalyticDB PostgreSQL版 具体操作，请参见 通过实时计算Flink版写入数据到云原生数据仓库AnalyticDB PostgreSQL版。通过实时计算Flink版读取AnalyticDB PostgreSQL版数据 具体操作，请参见 通过实时计算...
基于Flink+Hologres搭建实时数仓
本文介绍如何通过实时计算Flink版和实时数仓Hologres搭建实时数仓。背景信息 随着社会数字化发展，企业对数据时效性的需求越来越强烈。除传统的面向海量数据加工场景设计的离线场景外，大量业务需要解决面向实时加工、实时存储、实时分析的...
- 产品推荐
- 这些文档可能帮助您