使用Flink写入时序引擎
实时计算Flink版的开通，请参见 开通实时计算Flink版。说明 实时计算Flink版需要VVR 4.0.13及以上版本，VVR 4.0.13版本是基于Apache Flink 1.13。为了保证网络的连通性，确保 云原生多模数据库 Lindorm 实例和实时计算Flink使用相同的专有...
概述
例如，需要统计在过去的1分钟内有多少用户单击了某个网页，可以通过定义一个窗口来收集最近1分钟内的数据，并对这个窗口内的数据进行实时计算。Flink SQL支持的窗口聚合主要是两种：Window聚合和Over聚合。本文档主要为您介绍Window聚合。...
Raw
使用方法 例如，在Kafka中具有以下原始格式的日志数据，并希望使用Flink SQL读取和分析此类数据。47.xx.xx.179-[28/Feb/2019:13:17:10+0000]"GET/?p=1 HTTP/2.0" 200 5316 "https://domain.com/?p=1" "Mozilla/5.0 (Windows NT 6.1)...
管理自定义Catalog
说明 支持使用其他服务的HTTP路径，需要该服务和实时计算Flink版在同一VPC下或者先打通实时计算Flink版和目标服务的公网网络链接后使用公网地址。详情请参见 Flink全托管集群如何访问公网？单击 下一步。确认Properties信息后，单击 确定。...
计费项
本文介绍实时计算Flink版产品的计费项、计算公式、资源估算方法，以及Flink开通和使用过程中涉及的其他云产品的费用情况。资源估算 Flink工作空间的基本计量单位为Compute Unit（CU），即计算资源，1 CU=1核CPU+4 GiB内存+20 GB本地存储...
功能与优势
本文为您介绍阿里云实时计算Flink全托管产品的功能点和价值，以及和开源Flink的对比优势。类型 功能 描述 价值 性能与成本 兼容性 全面兼容开源Flink，包括各层API、参数配置及SQL语法等。更好的引擎性能和更细粒度资源配置使得整体TCO优于...
数据正确性
检查源表数据是否进入实时计算Flink版 排错指引 这种情况下没有Failover，但数据延时会很大，请查看数据曲线页面numRecordsIn_VVP，检查各Source输入是否有数据。解决方案 检查源表，保证上游有数据进入实时计算Flink版。检查数据是否被...
2022-11-09版本
Apache Flink社区于Flink 1.16.0和1.15.3版本进行了修复，阿里云实时计算Flink版已经在VVR-6.0.2及以上版本修复。但是鉴于此缺陷会导致作业运行可用性存在潜在的重大风险，我们为云上客户专属进行了低版本的修复，并将此Patch放入本次发布...
云速搭部署 Flink 应用
通过云速搭实现一个 DataHub+Flink 的实时流计算引擎架构，利用 DataHub ...产品列表 专有网络VPC 对象存储OSS 实时计算Flink版 DataV数据可视化 数据总线DataHub 云速搭CADT 方案架构 操作步骤 具体操作步骤请参考《云速搭部署 Flink 应用》
2023-12-07版本
管理资源队列 任务编排（公测）通过可视化的操作界面轻松地编排批作业运行的顺序，调度批作业任务的运行，高效构建数据仓库，在实时计算Flink版平台实现开发、调度、部署和运维一体化。任务编排（公测）查询脚本 可以在查询脚本中通过DDL、...
基于Flink的资讯场景实时数仓
本文介绍如何针对资讯聚合类业务场景搭建基于 云消息队列 Kafka 版 和实时计算Flink的实时数仓。场景描述 本文首先介绍什么是实时数仓以及相关技术架构，接着介绍资讯聚合类业务的典型场景及其业务目标，并据此设计了相应的技术架构。然后...
同城高可用
在购买实时计算Flink版时，您需要选中 是否启用跨可用区，并填写 计算资源配额，选择对应的主备可用区和虚拟交换机，详情请参见 开通实时计算Flink版。在跨可用区项目空间创建并运行作业，详情请参见 进入目标项目空间。方式2：已有工作...
生命周期策略
为了更好地服务于用户，实时计算Flink版构建了生命周期管理体系，明确了产品和引擎版本生命周期策略。通过引入新产品和新版本，希望能够更好地满足您丰富的实时业务需求并高效稳定地保证业务运行结果。涉及范围 本策略涉及的范围包括阿里云...
Dataphin使用Flink脚本任务运行报SQL语法错误
问题描述 Dataphin使用Flink脚本任务运行报SQL语法错误。解决方案 Dataphin Flink SQL中不支持DDL建表语法，CREATE建表需要使用创建元表的方式代替。适用于 Dataphin
资源抵扣包
免费试用：实时计算Flink版新用户可以在 免费试用 页面，单击实时计算Flink版卡片上的 立即试用，根据页面提示领取5000 CUH资源抵扣包，开通Flink进行试用。试用完毕后请及时释放不需要的资源，避免产生额外费用。59元优惠：在 产品规格 ...
修改虚拟交换机
如果您重新规划了IPv4网段或遇到作业启动...实时计算Flink版默认不具备访问公网的能力，但通过在VPC中创建NAT网关，并创建SNAT条目，将Flink所在的交换机绑定至弹性公网IP（EIP），即可通过EIP访问公网，详情请参见 Flink全托管如何访问公网？
配置Fusioninsight Flink实时模式资源
参数 描述 生产环境资源队列 默认为创建Flink SQL任务时所选择的资源队列。您可在此处进行引擎切换。重要 切换后提交生效的任务执行可能存在差异，请谨慎操作。生产环境引擎版本 默认为创建Flink SQL任务时所选择的引擎版本。开发环境资源...
监控服务ARMS Prometheus计费模式变更
自2023年12月8日起，实时计算Flink版对接ARMS Prometheus新版计费模式，可观测监控Prometheus版专家版的计费模式变更为按写入的可观测数据量收费。变更优势 相比旧版计费模式，费用预估可节省55%以上。新版计费模式下费用节省情况请参见 ...
新建Flink SQL类型的公共节点
Flink SQL节点是流式节点，运行于Flink云计算资源之上，支持对ApsaraDB for RDS、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL和DataHub Service等类型的数据进行处理。本文介绍如何新建Flink SQL类型的公共节点。背景信息...
Table/SQL JAR迁移至SQL
实时计算Flink全托管版集群内置了商业化的RDS Connector，您也可以替换为开源JDBC Connector。商业化的RDS Connector详情请参见 云数据库RDS MySQL结果表。本文介绍的迁移场景如下图所示。前提条件 本地已安装Maven 3.x。已在 Maven资源...
查看与修改作业运行状态
前提条件 其他阿里云账号或RAM用户共同使用实时计算Flink版产品时，需要为阿里云账号或RAM用户授权，以进行查看与修改作业运行状态等相关操作，详情请参见 作业操作账号授权。查看作业运行状态 登录 实时计算控制台。在 Flink全托管 页签，...
Parquet
仅对象存储OSS连接器（实时计算引擎VVR 6.0.7及以上版本）支持读取Parquet格式的数据。使用示例 利用OSS和Parquet格式创建表的示例如下。CREATE TABLE user_behavior(user_id BIGINT,item_id BIGINT,category_id BIGINT,behavior STRING,ts...
流式ETL
实时计算场景：对业务侧产生的流数据实时清洗处理，形成特征值、标签支持在线业务计算模型（画像、风控、推荐等）或实时大屏等流计算场景。优惠活动 目前ETL功能处于公测阶段，每个账号可以免费创建两个ETL实例，且每个实例在公测期间均...
Avro
Flink SQL类型 Avro类型 CHAR/VARCHAR/STRING string BOOLEAN boolean BINARY/VARBINARY bytes DECIMAL fixed 说明 带有精度的十进制数。TINYINT int SMALLINT int INT int BIGINT long FLOAT float DOUBLE double DATE int 说明 日期。...
什么是ETL
实时计算场景：对业务侧产生的流数据实时清洗处理，形成特征值、标签支持在线业务计算模型（画像、风控、推荐等）或实时大屏等流计算场景。优惠活动 目前ETL功能处于灰度公测阶段，仅部分用户可以使用。每个账号可以免费创建两个ETL实例，...
重大语义变更
state ttl参数变更 Flink SQL作业中的state ttl参数，需要您统一使用参数 table.exec.state.ttl 配置过期时间，例如设置为该参数默认值129600000，单位为毫秒，表示过期时间为1.5天。Blink上的 state.backend.gemini.ttl.ms 或 state....
通过实时计算处理数据并同步到Elasticsearch
当您需要构建一个日志检索系统时，可通过实时计算Flink对日志数据进行计算后，输出到Elasticsearch进行搜索。本文以阿里云日志服务SLS（Log Service）为例，为您介绍具体的实现方法。前提条件 您已完成以下操作：开通阿里云实时计算服务并...
2023-04-13版本
作为预览型功能，自本版本起，阿里云实时计算Flink提供了Apache Paimon(incubating)，这是一项流式数据湖存储技术，提供高吞吐、低延迟的数据摄入、流式订阅和实时查询能力。平台侧将进行多项常用功能的改版，更改了产品控制台的一级目录和...
查看作业性能
您可以查看运行中作业的性能，包括Job Manager与运行Task Managers的CPU、内存和线程的使用情况，这可以协助您定位代码问题，例如作业代码...通过作业配置和Flink SQL优化两方面提升Flink SQL作业性能，详情请参见 高性能Flink SQL优化技巧。
基于原生DDL语句创建元表
存储目录 默认选择为代码管理，同时您也可以在 计算任务 页面创建目标文件夹后，选择该目标文件夹为Flink SQL任务的目录。使用模板 开启后可引用已创建的实时模板。描述 填写对Flink SQL任务的简单描述。步骤二：编写DDL原生语句 在Flink ...
搭建基础环境
鼠标悬浮在 开源Flink迁移实时计算Flink全托管版 上，单击 基于方案新建。修改EMR-Flink集群密码。说明 本文使用EMR-Flink作为用户自建Flink集群来运行迁移前的作业，以此来对比验证自建Flink迁移后的作业运行结果。如果您已经有了自建...
废弃或恢复监控指标
如果您不需要实时计算Flink版监控告警功能或某些监控指标，您可以关闭对应工作空间的监控告警或废弃具体指标，以节省费用，后续有需要时可以重新恢复指标采集。本文为您介绍如何关闭监控告警、废弃监控指标，以及对应的恢复操作。注意事项 ...
按登录方式授权
实时计算Flink版支持阿里云账号、阿里云RAM用户、阿里云RAM角色、资源目录成员方式登录并访问实时计算控制台，以及进行作业开发和运维。不同登录方式下需要被授权的主体（身份或账号）可能不同，本文通过示例为您介绍不同登录方式下，访问...
通过实时计算（Flink）访问HBase增强版
您可以使用社区版Flink或阿里云实时计算版Flink访问HBase增强版集群。本文介绍同时适用于阿里云实时计算版Flink和社区版Flink访问HBase增强版集群的方法。背景信息 您可以将HBase增强版中的表作为Flink中的维表或结果表，并通过Flink SQL...
2022-03-04版本
20多个Flink SQL常见通用场景的模版，帮助您快速了解如何使用Flink SQL构建作业代码。提供MySQL到Hologres数据同步模版。帮助您快速创建Flink CDC作业，完成数据同步入仓入湖。代码模板 数据同步模版 更清晰地展示资源使用情况 在Flink开发...
新建Flink SQL类型的公共节点
Flink SQL节点是流式节点，运行于Flink云计算资源之上，支持对RDS MySQL、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL和DataHub等类型的数据进行处理。本文介绍如何新建Flink SQL类型的公共节点。背景信息 Flink SQL是...
任务编排（公测）
任务编排是一个全托管的工作流调度服务，通过可视化的操作界面轻松地编排批作业运行的顺序，构建数据仓库，在实时计算Flink版平台实现开发、调度、部署和运维一体化。重要 任务编排目前为公测功能，公测阶段不保障服务等级协议SLA。如果您...
配置流程
生成Flink SQL校验：在页面上方提示 Flink SQL校验完成，说明Flink SQL生成成功。如果校验失败，您可以单击 生成Flink SQL校验 右侧的 查看ETL校验详情，并根据提示信息修复后，重新进行生成Flink SQL校验。发布：系统会先进行生成Flink ...
云计算资源类型
支持的云计算资源类型为：离线类：MaxCompute RDS MySQL Hive Hadoop Elastic Job Hologres PostgreSQL AnalyticDB PostgreSQL Spark On Yarn Spark Cluster Spatial Data Source HiveStorage 在线类：Elastic Service 流式类：Blink Blink...
基于原生DDL语句创建元表
存储目录 默认选择为代码管理，同时您也可以在 计算任务 页面创建目标文件夹后，选择该目标文件夹为Flink SQL任务的目录。使用模板 开启后可引用已创建的实时模板。描述 填写对Flink SQL任务的简单描述。步骤二：编写DDL原生语句 在Flink ...
- 产品推荐
- 这些文档可能帮助您