实时计算Flink版实时消费Hologres
本文为您介绍实时计算Flink版消费Hologres的详情。使用限制 Hologres 0.10及以下版本，已存在的表无法修改表属性开启Binlog，需要重新建表。Hologres V1.1及以上版本，可以根据业务需要选择开启或关闭Binlog能力，同时支持配置TTL满足不同...
管理Hologres Catalog
实时计算Flink版仅支持读写Hologres内表，因此Hologres实例必须是独占实例，不支持 Hologres共享集群实例。创建Hologres Catalog 支持UI与SQL命令两种方式配置Hologres Catalog，推荐使用UI方式配置Hologres Catalog。UI方式（推荐）进入...
实践教程
EMR on ECS 手工缩容节点组 更换集群损坏的本地盘 为集群配置弹性伸缩规则 EMR Serverless StarRocks 基于DataFlow集群的Flink服务使用CTAS语句同步MySQL数据至StarRocks 基于实时计算Flink使用CTAS语句同步MySQL数据至StarRocks 使用Flink...
基本概念
层次结构 您可以了解实时计算Flink版产品基本概念的层次结构，为后期作业开发、作业部署、作业运维和安全管理等操作提供思路。实时计算Flink版产品基本概念的层次结构如下图所示。概念说明 基本概念 说明 相关文档 工作空间（Workspace）...
管理StarRocks Catalog
详情请参见 基于实时计算Flink使用CTAS&CDAS功能同步MySQL数据至StarRocks。删除StarRocks Catalog UI方式 进入元数据管理页面。登录 实时计算控制台。在 Flink全托管 页签，单击目标工作空间 操作 列下的 控制台。单击 元数据管理。在 ...
计算设置概述
实时计算引擎默认为阿里云实时计算Flink，若需使用Blink，请到管理中心修改实时计算引擎类型。修改离线计算引擎设置，系统将同步修改计算源配置。为了保证修改效率，系统在修改过程中不会对计算源的连通性进行校验，请谨慎确认配置的正确性...
交付和验收云盒
安装部署云盒 工勘通过后，将进入云盒安装部署阶段。流程如下：阿里云与您联系，约定上门安装时间。阿里云交付团队运送云盒设备到您指定的地点。阿里云工程师按照约定的时间和地点上门完成云盒的安装部署。说明 云盒设备所有的安装部署操作...
Flink+Hologres实时数据大屏
本实践的Flink SQL作业示例代码如下，其中SLS的 project、endpoint、logstore 等参数值请参见教程文档 使用内置公开数据集快速体验实时计算Flink版，填入对应Region的固定值。CREATE TEMPORARY TABLE sls_input(id STRING,-每个事件的唯一...
功能与优势
本文为您介绍阿里云实时计算Flink全托管产品的功能点和价值，以及和开源Flink的对比优势。类型 功能 描述 价值 性能与成本 兼容性 全面兼容开源Flink，包括各层API、参数配置及SQL语法等。更好的引擎性能和更细粒度资源配置使得整体TCO优于...
消息队列Kafka
实时计算Flink与Kafka集群处于同一VPC内，且 云消息队列 Kafka 版 已对Flink开放白名单。可参见 配置白名单 来配置 云消息队列 Kafka 版 的白名单。说明 由于云存储的 云消息队列 Kafka 版 不支持幂等和事务写入，您将无法使用Kafka结果表...
实时模式配置概述
配置项 描述 资源配置 Ververica Flink实时计算源 对于Ververica Flink创建的流批一体任务，任务的实时模式资源配置支持配置任务的生产环境和开发环境的资源队列、引擎版本以及任务的并行度、Task Manager数量、Job Manager Momory和Task ...
专有云使用
1.安装部署 您需要先向阿里云RPA团队申请最新的安装包和部署指南，然后按要求准备相应的部署资源，并参考部署指南完成阿里云RPA专有云场景下的安装部署。2.注册企业 1).部署完成后，使用域名打开阿里云RPA控制台登录页面，选择“注册新企业...
离线模式配置概述
资源配置 开源Flink实时计算源 对于开源Flink创建的流批一体任务，任务的离线模式资源配置支持配置任务的生产环境和开发的资源队列、引擎版本以及任务的并行度、Task Manager数量、Job Manager Momory和Task Manager Momory。配置说明，请...
云原生数据仓库AnalyticDB PostgreSQL版（ADB PG）
使用限制 仅Flink实时计算引擎VVR 6.0.0及以上版本支持云原生数据仓库AnalyticDB PostgreSQL版连接器。仅Flink实时计算引擎VVR 8.0.1及以上版本支持云原生数据仓库AnalyticDB PostgreSQL版7.0版本。暂不支持自建的Postgres SQL。语法结构 ...
地域及可用区
本文为您介绍阿里云地域和可用区的概念、选择指导以及阿里云实时计算Flink版支持的地域及可用区列表。背景信息 地域（Region）：指数据中心所在的地理区域，通常按照数据中心所在的城市划分。例如，华北2（北京）地域表示数据中心所在的...
上下游存储
本文为您介绍实时计算Flink版上下游存储方面的常见问题。Kafka源表 Flink如何获取JSON数据？Flink和Kafka网络连通，但Flink无法消费或者写入数据？为什么Kafka源表数据基于Event Time的窗口后，不能输出数据？Flink中的Commit Offset有什么...
数据总线DataHub
} 常见问题 实时计算Flink版支持的连接器列表，请参见 支持的连接器。您可以使用Kafka连接器来访问DataHub，Kafka连接器使用详情，请参见 消息队列Kafka。分裂或者缩容DataHub Topic后导致Flink作业失败，如何恢复？可以删除正在消费的...
维表JOIN语句
对于每条流式数据，可以关联一个外部维表数据源，为实时计算Flink版提供数据关联查询。背景信息 大部分连接器的维表Join都可以使用Cache策略，不同连接器对Cache策略的支持情况稍有不同，请查看对应的连接器文档确定具体的支持情况。通用的...
Knative概述
部署方式如下：在标准托管Kubernetes集群和标准专有Kubernetes集群中安装部署Knative，详细介绍请参见 部署Knative。在 ACK Serverless集群 中安装部署Knative，详细介绍请参见 Knative组件管理。Knative计费说明 Knative本身不收取管理...
查看并管理实时实例
资源队列：Alibaba Blink、开源Flink 实时计算引擎的资源队列ID。引擎版本：资源队列的版本。操作日期：操作该实例的时间。③ 实时实例列表区 实时实例页面以列表形式为您展示系统已生成的实时实例。列表 操作 栏为您展示实时实例支持的运...
计算与分析概述
Flink 宽表模型 时序模型 使用Flink 通过实时计算Flink访问 表格存储 中的源表、维表或者结果表，实现大数据实时计算与分析。目前数据表支持作为源表、维表或者结果表，时序表只支持作为结果表。PrestoDB 宽表模型 通过PrestoDB使用...
管理域名
在实时计算控制台上，您可以管理上下游服务的域名。本文为您介绍如何在实时计算控制台上新增域名、修改域名和删除域名。使用限制 填写域名时，不支持填写大写字符。单个工作空间最多只能设置50个合法域名。当工作空间状态为运行中时，才...
Ververica Flink实时任务资源自定义
Ververica Flink实时任务资源自定义，即指实时计算Flink配置细粒度资源的专家模式（BETA），Flink全托管引入的全新的资源配置模式，支持对作业所使用的资源进行细粒度的资源控制，以满足作业吞吐的要求。系统会自动根据您配置的资源需求，...
Ververica Flink实时任务资源自定义
Ververica Flink实时任务资源自定义，即指实时计算Flink配置细粒度资源的专家模式（BETA），Flink全托管引入的全新的资源配置模式，支持对作业所使用的资源进行细粒度的资源控制，以满足作业吞吐的要求。系统会自动根据您配置的资源需求，...
步骤一：安装部署
本文为DataTrust安装部署指引 一、商务对接，采购完成 DataTrust当前只支持【独立部署】，需按节点采购DataTrust软件（软件包+软件license），至少采购2个节点，才能进行隐私计算，如有采购需求，请通过钉钉搜索群号：33294733，加群联系...
日志服务数据同步至Hologres
如果选择通过Flink将SLS数据写入Hologres，请开通实时计算Flink版服务并创建项目空间，详情请参见 开通Flink全托管 和 创建与管理项目空间。如果选择通过DataWorks数据集成将SLS数据写入Hologre，请开通DataWorks服务并创建工作空间，详情...
MongoDB（公测中）
实时计算Flink VVR 8.0.6及以上版本支持通过 CREATE TABLE AS（CTAS）语句 或 CREATE DATABASE AS（CDAS）语句 将MongoDB的数据和Schema变更同步到下游表。使用时需开启MongoDB数据库的前像后像（Pre-and Post-images）记录功能，详情请...
StarRocks
CDAS可以实现整库同步或者同一库中的多表结构和数据同步，详情请参见 基于实时计算Flink使用CTAS&CDAS功能同步MySQL数据至StarRocks。前提条件 已创建StarRocks集群，包括EMR的StarRocks或基于ECS的云上自建StarRocks。使用限制 仅实时计算...
PolarDB PostgreSQL版（Oracle语法兼容1.0）
使用限制 仅Flink实时计算引擎VVR 8.0.5及以上版本支持PolarDB PostgreSQL版（Oracle语法兼容1.0）连接器。语法结构 CREATE TABLE polardbo_table(id INT,len INT,content VARCHAR，PRIMARY KEY(id))WITH('connector'='polardbo','url'='...
2022年
通过实时计算Flink写入数据 通过实时计算Flink读取AnalyticDB PostgreSQL版数据 优化 优化插入或更新字段过长提示信息 更新或插入数据时，如果写入的字段长度超过定义的长度，系统会返回字段长度过长的错误信息并提示过长字段的信息。...
查看Flink审计事件
本文介绍如何通过操作审计（ActionTrail）产品查看Flink审计事件。背景信息 操作审计（ActionTrail）可以帮助...DeleteDeployment"} 实时计算Flink版事件列表 实时计算Flink版支持在操作审计中查询的事件请参见 实时计算Flink版的审计事件。
管理平台系统表和时序/快照表
您可以通过数据服务的离线数据存储功能，查看平台系统表、时序表和快照...实时数据集成（Flink）：产品属性时序表和产品事件表数据，可以集成到阿里云实时计算Flink中计算和分析，以帮助您实时分析和诊断设备的运行状况，实时检测运行故障等。
计算设置概述
设置Dataphin实例的计算引擎为TDH或ArgoDB 星环TDH 6.x Transwarp Data Hub（TDH)是星环大数据平台 实时计算引擎 阿里云实时计算Flink 阿里云新一代计算引擎Flink，支持实时计算，具有高吞吐低延迟等优势，同时也支持离线计算与调度。...
基本概念
云盒机柜采用42U标准机柜，由阿里云上门安装部署。机柜内的服务器和网络设备归属阿里云所有，由阿里云提供维保服务，在未经阿里云书面授权的情况下，不能移动和操作云盒机柜内的设备。计算SKU 云盒内的计算资源以计算SKU（Stock Keeping ...
支持的函数
本文为您介绍实时计算Flink版支持的所有内置函数。支持的函数 Flink全托管VVR 3.0.0版本在Flink V1.12的基础上增加了部分内置函数，详情请参见 标量函数、表值函数 和 聚合函数。下表展示的是Flink全托管在Flink V1.15版本的基础上支持的...
Upsert Kafka
您需要连接实时计算Flink与Kafka集群之间网络。Kafka on EMR可参见文档配置 创建和管理专有网络 和 安全组概述，云消息队列 Kafka 版 需要 配置白名单。使用限制 仅Flink计算引擎VVR 2.0.0及以上版本支持消息队列Kafka连接器。仅支持读取和...
创建和管理自定义存储表
自定义存储表可以作为数据服务中数据解析、SQL分析任务和数据可视化的数据源，可以作为数据解析、SQL分析任务的结果输出表，可以集成时序表数据到实时计算Flink，也可以直接存储静态导入的自定义字段数据等。本文介绍如何创建和管理自定义...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
实时计算 实时计算Flink版 准备的入湖数据来源，即数据湖的数据来源。数据入湖 数据湖构建DLF 对接在线数据库，管理入湖数据来源。数据湖存储与管理 对象存储OSS 数据湖构建DLF 将在线数据库中的源数据引入数据湖时，OSS会作为数据湖的统一...
使用Flink写入数据（Transaction Table2.0）
MaxCompute与实时计算Flink版的字段类型对照关系如下。Flink 数据类型 MaxCompute 数据类型 CHAR(p)CHAR(p)VARCHAR(p)VARCHAR(p)STRING STRING BOOLEAN BOOLEAN TINYINT TINYINT SMALLINT SMALLINT INT INT BIGINT LONG FLOAT FLOAT DOUBLE...
Blink和Flink常见问题及诊断
其中 application_name 字段中值为 ververica-connector-hologres 的Query代表来自实时计算Flink的读写连接。SELECT application_name,COUNT(1)AS COUNT FROM pg_stat_activity WHERE backend_type='client backend' AND application_name!...
- 产品推荐
- 这些文档可能帮助您