操作指导
本文为您介绍实时计算Flink版的操作指导方面的常见问题，包括控制台操作、网络连通性和JAB包等问题。控制台操作 登录实时计算控制台提示当前账号缺少权限 如何在OSS控制台上传JAR包？如何配置作业运行参数？如何开启GC日志？如何查找引发告...
配置监控告警
实时计算Flink版默认使用云监控（免费监控服务）或ARMS提供监控报警服务，配置作业指标或事件监控告警，便于您及时发现并处理异常。本文为您介绍使用不同监控服务时如何配置监控告警。使用限制 部署时提交至Session集群的Flink作业不支持...
概述
实时计算Flink版支持在Flink SQL作业中使用Java自定义函数，本文介绍Flink Java自定义函数的分类、参数传递及调用注意事项。注意事项 为了避免JAR包依赖冲突，在开发自定义函数时您需要注意以下几点：SQL开发页面选择的Flink版本，请和Pom...
功能发布记录
Flink产品重大变更或者活动公告信息请在 实时计算控制台 或者 实时计算Flink版产品公告 上进行查看。企业级状态后端存储GeminiStateBackend，以及其与RocksDBStateBackend的性能对比情况，请参见 企业级状态后端存储介绍。
基于Flink+Paimon搭建流式湖仓
本文为您介绍如何通过实时计算Flink版和流式数据湖仓Paimon搭建流式湖仓。背景信息 随着社会数字化发展，企业对数据时效性的需求越来越强烈。传统的离线数仓搭建方法论比较明确，通过定时调度离线作业的方式，将上一时段产生的新鲜变更并入...
Postgres CDC（公测中）
相关文档 实时计算Flink版支持的连接器列表，请参见 支持的连接器。将数据写入PolarDB PostgreSQL版（Oracle语法兼容1.0）结果表，请参见 PolarDB PostgreSQL版（Oracle语法兼容1.0）。如果您需要读写RDS MySQL、PolarDB for MySQL或者自建...
作业启动问题
详情请参见 开通实时计算Flink版。解决方案 在OSS上配置生命周期规则来定期清理删除标记和不必要的历史版本，详情请参见 使用最后一次修改时间的生命周期规则结合版本控制降低存储成本。报错：Job was submitted in detached mode.Results ...
作业状态集管理
系统检查点（Checkpoint）和作业快照（Savepoint）统称为状态集。...相关文档 实时计算Flink版系统检查点或作业快照相关的常见问题，请参见 系统检查点或作业快照。SQL修改所造成的兼容性影响详情，请参见 SQL修改及兼容性。
分场景排错指引
本文为您介绍实时计算Flink版分场景排错指引方面的常见问题，包括权限、运维和数据异常等问题。权限 不小心删除了角色或者变更了授权策略，导致Flink全托管服务不可用怎么办？运维 JobManager没有运行起来，如何快速定位问题？Python作业，...
包年包月
包年包月是一种先付费后使用的计费方式，在购买时根据购买时长预先支付了费用。适用于具有长期稳定，可预估资源使用周期的业务场景。本文为您介绍包年包月付费模式的计费规则、计费周期和...开通工作空间操作，请参见 开通实时计算Flink版。
日志服务SLS
说明 实时计算Flink版默认不具备访问公网的能力，但阿里云提供的NAT网关可以实现VPC网络与公网网络互通，详情请参见 Flink全托管如何访问公网？project SLS项目名称。String 是 无 无。logStore SLS LogStore或metricstore名称。String 是 ...
日志实时入仓快速入门
已创建Flink工作空间，详情请参见 开通实时计算Flink版。上下游存储 已创建消息队列Kafka实例，详情请参见 步骤三：创建资源。已创建Hologres实例，详情请参见 购买Hologres。说明 消息队列Kafka和Hologres需要与Flink全托管工作空间在相同...
系统检查点或作业快照
本文为您介绍实时计算Flink版系统检查点或作业快照相关的常见问题。两次Checkpoint最小间隔时间计算方式 VVR 8.x和VVR 6.x使用的GeminiStateBackend有什么区别？报错：org.apache.flink.util.SerializedThrowable 报错：You are using the ...
Flink CDC技术
相关文档 数据库实时入仓快速入门 日志实时入仓快速入门 CDC问题
Flink SQL上手示例
相关文档 Flink SQL作业快速入门 数据库实时入仓快速入门
配置自动调优
实时计算Flink版提供了自动调优功能，您可以根据以下信息，选择合适的调优模式。调优模式 适用场景 使用优势 相关文档 智能调优 某作业使用资源30 CU，上线平稳运行一段后，发现在Source无延迟、无反压的情况下，作业的CPU和内存使用率有时...
SQL常见问题
本文为您介绍实时计算Flink版的SQL常见问题，包括作业常见问题、开发报错、运维报错。为什么使用POJO类作为UDTF返回类型时字段会出现“错位”?为什么数据在LocalGroupAggregate节点中长时间卡住，无输出？运行拓扑图中显示的Low Watermark...
维表JOIN语句
对于每条流式数据，可以关联一个外部维表数据源，为实时计算Flink版提供数据关联查询。背景信息 大部分连接器的维表Join都可以使用Cache策略，不同连接器对Cache策略的支持情况稍有不同，请查看对应的连接器文档确定具体的支持情况。通用的...
数据总线DataHub
} 常见问题 实时计算Flink版支持的连接器列表，请参见 支持的连接器。您可以使用Kafka连接器来访问DataHub，Kafka连接器使用详情，请参见 消息队列Kafka。分裂或者缩容DataHub Topic后导致Flink作业失败，如何恢复？可以删除正在消费的...
消息队列Kafka
Kafka连接器基于开源Apache Kafka客户端，为阿里云实时计算Flink提供高性能的数据吞吐、多种数据格式的读写和精确一次语义的支持。类别 详情 支持类型 源表和结果表 运行模式 流模式 数据格式 CSV JSON Apache Avro Confluent Avro ...
Table/SQL JAR迁移至JAR
实时计算Flink全托管版集群内置了商业化的RDS Connector，您也可以替换为开源JDBC Connector。商业化的RDS Connector详情请参见 云数据库RDS MySQL结果表。本文介绍的迁移场景如下图所示。前提条件 本地已安装Maven 3.x。已在 Maven资源...
基于Flink+Hologres搭建实时数仓
本文介绍如何通过实时计算Flink版和实时数仓Hologres搭建实时数仓。背景信息 随着社会数字化发展，企业对数据时效性的需求越来越强烈。除传统的面向海量数据加工场景设计的离线场景外，大量业务需要解决面向实时加工、实时存储、实时分析的...
上下游存储
本文为您介绍实时计算Flink版上下游存储方面的常见问题。Kafka源表 Flink如何获取JSON数据？Flink和Kafka网络连通，但Flink无法消费或者写入数据？为什么Kafka源表数据基于Event Time的窗口后，不能输出数据？Flink中的Commit Offset有什么...
管理Paimon Catalog
Paimon Catalog使用的OSS Bucket必须与实时计算Flink版位于同一地域，且开通实时计算Flink版服务的账号必须有权限读写该OSS Bucket。注意事项 目前由于Flink全托管相关缓存机制，通过SQL方式进行Catalog、Database和table的增删，无法立刻...
管理StarRocks Catalog
详情请参见 基于实时计算Flink使用CTAS&CDAS功能同步MySQL数据至StarRocks。删除StarRocks Catalog UI方式 进入元数据管理页面。登录 实时计算控制台。在 Flink全托管 页签，单击目标工作空间 操作 列下的 控制台。单击 元数据管理。在 ...
2020-07-23版本
本文为您介绍2020-07-23号发布的Flink全托管版本的重大功能变更...表格存储Tablestore维表 MaxCompute维表 云数据库Redis版维表 Elasticsearch维表 支持Flink SQL作业开发，包括：SQL编辑器 元数据管理 UDF管理 支持单作业Autopilot自动调优。
AUTO OPTIMIZE语句
基本语法 优化单个表 AUTO OPTIMIZE TABLE<target_table><target_table>:[catalog_name.][db_name.]table_name 优化单个数据库 AUTO OPTIMIZE DATABASE<target_database><target_database>:[catalog_name.]db_name 参数配置 配置方式 您...
搭建基础环境
鼠标悬浮在 开源Flink迁移实时计算Flink全托管版 上，单击 基于方案新建。修改EMR-Flink集群密码。说明 本文使用EMR-Flink作为用户自建Flink集群来运行迁移前的作业，以此来对比验证自建Flink迁移后的作业运行结果。如果您已经有了自建...
数据同步模版
操作步骤 登录 实时计算控制台。在 Flink全托管 页签，单击对应工作空间 操作 列下的 控制台。在 SQL开发 页面，单击 新建。在 新建作业草稿 页面，单击 数据同步模版。双击 MySQL到Hologres数据同步 模版名称，或者单击选中模版后，在右下...
数据格式
数据格式 数据格式 支持的连接器 JSON 消息队列Kafka、Upsert Kafka、Elasticsearch、对象存储OSS，云数据库MongoDB、StarRocks。Canal 消息队列Kafka、对象存储OSS。Debezium 消息队列Kafka、对象存储OSS。Maxwell 消息队列Kafka、对象...
功能与优势
本文为您介绍阿里云实时计算Flink全托管产品的功能点和价值，以及和开源Flink的对比优势。类型 功能 描述 价值 性能与成本 兼容性 全面兼容开源Flink，包括各层API、参数配置及SQL语法等。更好的引擎性能和更细粒度资源配置使得整体TCO优于...
管理MySQL Catalog
例如，有一个分库分表的MySQL数据库，包括user01、user02和user99等多个表，分散在db01~db10等数据库中，且所有表的Schema都相互兼容，则可以通过如下正则表达式的库名表名来访问到所有user的分库分表。SELECT.FROM `db.*`.`user.*`/*+...
MongoDB（公测中）
已创建MongoDB数据库和表 已设置IP白名单 使用限制 CDC源表 实时计算Flink VVR 8.0.1及以上版本支持使用MongoDB CDC连接器。MongoDB 6.0及以上版本支持产生Full Changelog事件流。MongoDB 4.0及以上版本支持指定时间戳的启动模式。结果表 ...
Flink动态CEP快速入门
}.} 实时计算Flink版提供了 JDBCPeriodicPatternProcessorDiscoverer 的实现，用于从支持JDBC协议的数据库（例如RDS或者Hologres等）中拉取最新的规则。在使用时，您需要指定如下参数。参数 说明 jdbcUrl 数据库JDBC连接地址。jdbcDriver ...
通过实时计算Flink集成向量数据
若实时计算Flink端使用开源自建版，请确保 flink-adbpg-connector 已安装在$FLINK_HOME/lib 目录下。若使用 公有云托管版，则无任何操作。AnalyticDB PostgreSQL版 数据库已安装向量检索插件FastANN。您可以在psql客户端通过 \dx fastann ...
Datastream JAR迁移
本文为您介绍如何将自建Flink集群上的Datastream JAR作业，迁移至实时计算Flink全托管的JAR作业类型中。背景信息 本文介绍的迁移场景如下图所示。前提条件 本地已安装Maven 3.x。已在 Maven资源中心 下载了开源JDBC Connector包，包括 ...
CREATE TABLE AS（CTAS）语句
示例四：多个CTAS语句作为一个作业提交 实时计算Flink版支持使用STATEMENT SET语法将多个CTAS语句作为一个作业一起提交，并且可以对Source进行优化，复用一个Source节点读取多业务表的数据。这对于MySQL CDC数据源场景尤为适用，因为这可以...
实时计算Flink版实时消费Hologres
本文为您介绍实时计算Flink版消费Hologres的详情。使用限制 Hologres 0.10及以下版本，已存在的表无法修改表属性开启Binlog，需要重新建表。Hologres V1.1及以上版本，可以根据业务需要选择开启或关闭Binlog能力，同时支持配置TTL满足不同...
2023-08-21版本
具体升级计划，请关注 实时计算控制台 页面右侧的最新公告。概述 2023年8月21日正式对外发布Flink全托管的新版本，包含引擎更新、连接器更新、性能优化以及缺陷修复。引擎侧将正式对外发布VVR 8.0.1版本，该版本是基于Apache Flink 1.17.1...
StarRocks
CDAS可以实现整库同步或者同一库中的多表结构和数据同步，详情请参见 基于实时计算Flink使用CTAS&CDAS功能同步MySQL数据至StarRocks。前提条件 已创建StarRocks集群，包括EMR的StarRocks或基于ECS的云上自建StarRocks。使用限制 仅实时计算...
- 产品推荐
- 这些文档可能帮助您