实时数据集成（Flink版）
Flink全托管产品支持您自定义连接器后上传使用，物联网平台提供连接器 iot-source 的使用说明，请参见 实时数据集成的连接器。使用限制 限制项 说明 地域 华东2（上海）、华南1（深圳）、华北2（北京）、美国（弗吉尼亚）。物联网平台企业...
实时数据集成的连接器
本文介绍如何使用实时计算Flink版集成物联网平台数据的连接器（IoT Connector）。下载连接器（IoT Connector）连接器文件：iot-flink-connector-source.jar。支持的数据类型 数据类型 物联网平台存储表的数据类型 Flink配置的数据类型 整型...
通过实时计算Flink集成向量数据
云原生数据仓库AnalyticDB PostgreSQL版 支持通过flink-adbpg-connector集成向量化数据。本文以将Kafka数据导入至 AnalyticDB PostgreSQL版 为例，介绍如何将向量数据导入 AnalyticDB PostgreSQL版。前提条件 已创建 AnalyticDB PostgreSQL...
通过实时计算Flink集成向量数据
云原生数据仓库AnalyticDB PostgreSQL版 支持通过flink-adbpg-connector集成向量化数据。本文以将Kafka数据导入至 AnalyticDB PostgreSQL版 为例，介绍如何将向量数据导入 AnalyticDB PostgreSQL版。前提条件 已创建 AnalyticDB PostgreSQL...
流式ETL
实时数据集成：ETL强大的流式数据转换处理能力大幅提升数据集成效率，低代码的开发方式也进一步降低了数据集成的难度和成本，让企业专注于数据价值实现。实时数据仓库：行业领先的流数据处理能力帮助企业快速搭建实时数据仓库。离线数仓...
管理平台系统表和时序/快照表
关闭实时数据集成（Flink）如果业务需求无需使用实时计算Flink进行数据流计算和分析，可执行以下操作关闭Flink任务。在存储表详情页面，单击 Flink任务 开关的打开 图标。单击 确认关闭。后续步骤 SQL分析：平台系统表、时序表和快照表，可...
什么是ETL
实时数据集成：ETL强大的流式数据转换处理能力大幅提升数据集成效率，低代码的开发方式也进一步降低了数据集成的难度和成本，让企业专注于数据价值实现。实时数据仓库：行业领先的流数据处理能力帮助企业快速搭建实时数据仓库。离线数仓...
实时同步数据库的数据至Hologres
本文为您介绍如何通过DataWorks数据集成实时同步数据库中的数据至Hologres。前提条件 开通DataWorks，详情请参见 入门概述。开通Hologres实例并绑定至DataWorks工作空间，详情请参见 DataWorks快速入门。已开通云数据库。说明 跨地域是否...
GenerateDISyncTaskConfigForUpdating
DataWorks目前仅支持直接使用 UpdateDISyncTask 接口更新数据集成离线同步任务，而数据集成实时同步任务和解决方案同步任务则需要先调用GenerateDISyncTaskConfigForUpdating和 QueryDISyncTaskConfigProcessResult 接口，异步生成更新数据...
DeployDISyncTask
取值如下：DI_REALTIME：表示数据集成实时同步任务。DI_SOLUTION：表示数据集成同步解决方案。RegionId String 是 cn-zhangjiakou 地域信息，通常为服务所在的地域。例如，华东2（上海）为cn-shanghai，华北3（张家口）为cn-zhangjiakou。...
TerminateDISyncInstance
下线数据集成实时同步任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
数据集成审批策略
使用限制 仅企业版的DataWorks支持使用数据集成审批策略功能。仅主账号和被授予 AliyunDataWorksFullAccess 权限的RAM用户可以选择所有工作空间作为管控工作空间。即定义的审批策略会在所有的管控工作空间内生效。工作空间管理员 仅能选择...
新增和使用独享数据集成资源组
您可以使用DataWorks独享数据集成资源组功能，为数据集成同步任务分配独立的计算资源，从而提高任务的执行效率和稳定性。购买独享资源组后，在实际使用前您还需进行网络绑定、白名单等配置操作。本文为您介绍从购买至使用独享数据集成资源...
支持的云服务
数据集成 实时数仓Hologres UTF-8 人工智能平台 PAI UTF-8 Quick BI UTF-8 AnalyticDB for MySQL UTF-8 表格存储 UTF-8 对象存储OSS UTF-8 开放搜索OpenSearch UTF-8 移动数据分析Quick A+Digital Analytics UTF-8 日志服务SLS UTF-8 访问...
实时同步能力说明
说明 数据集成实时同步在同步MySQL、Oracle、Loghub和PolarDB类型的数据至DataHub或Kafka时，会在同步的目标端添加5个附加列，以便进行元数据管理、排序、去重等操作。详情请参见 实时同步字段格式。定义DDL/DML消息处理策略 来源数据源会...
实时同步字段格式
本文为您介绍数据集成实时同步字段的格式及附加列。数据集成实时同步MySQL或Oracle数据的记录格式如下。sequence_id_operation_type_execute_time_before_image_after_image_字段1 字段2 字段3 增量事件的记录 ID，值唯一且递增。操作类型...
整库离线同步至OSS
说明 您可以使用调度参数来指定同步源表及目标表的数据范围，调度参数使用说明请参见：数据集成使用调度参数的相关说明。配置数据同步的调度周期。由于需要进行周期性调度，所以需要在此定义周期性调度任务时的相关属性，包括 调度周期、...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
Kafka单表实时入湖OSS（HUDI）
本文以Kafka实时入湖写入至OSS场景为例，为您介绍如何通过数据集成实时入湖。使用限制 Kafka的版本需要大于等于0.10.2小于等于2.2.0。本实践仅支持使用 独享数据集成资源组。准备独享数据集成资源组并与数据源网络连通 在进行数据同步前，...
MySQL一键实时同步至MaxCompute
例如，创建MaxCompute Log表、创建MaxCompute Base表、创建数据集成实时同步任务、提交发布增全量Merge Into节点。同步任务运维 同步至MaxCompute全增量Merge分为3个阶段：任务配置当天，执行全量数据初始化的离线同步任务。任务配置当天，...
MySQL一键实时同步至MaxCompute
例如，创建MaxCompute Log表、创建MaxCompute Base表、创建数据集成实时同步任务、提交发布增全量Merge Into节点。同步任务运维 同步至MaxCompute全增量Merge分为3个阶段：任务配置当天，执行全量数据初始化的离线同步任务。任务配置当天，...
全增量实时同步至Hologres
任务组成 当前方案将分别创建用于全量数据初始化的离线同步子任务，和用于增量数据实时同步的数据集成实时同步子任务，方案产生的离线同步子任务个数与源端读取的表数量有关。数据写入 支持写入分区表与非分区表，分为以下三阶段：库表结构...
整库离线同步至MaxCompute
说明 您可以使用调度参数来指定同步源表及目标表的数据范围，调度参数使用说明请参见：数据集成使用调度参数的相关说明。配置数据同步的调度周期。根据任务运行需求设置数据同步任务的调度周期，包括 调度周期、生效日期、暂停调度 等。...
EMR Hive数据整库离线同步至MaxCompute
调度参数使用说明请参见 数据集成使用调度参数的相关说明。重跑属性。可根据业务需求设置不同的重跑策略，设置失败可重跑策略可以有效降低因为网络抖动等偶发问题导致的任务失败。配置调度依赖。可根据业务需求设置不同的调度依赖。您可以...
GenerateDISyncTaskConfigForCreating
DataWorks目前仅支持直接使用 CreateDISyncTask 接口创建数据集成离线同步任务，而数据集成实时同步任务和其他同步类型的任务则需要先调用 GenerateDISyncTaskConfigForCreating 和 QueryDISyncTaskConfigProcessResult 接口，获取异步生成...
EMR Hive数据整库离线同步至MaxCompute
调度参数使用说明请参见 数据集成使用调度参数的相关说明。重跑属性。可根据业务需求设置不同的重跑策略，设置失败可重跑策略可以有效降低因为网络抖动等偶发问题导致的任务失败。配置调度依赖。可根据业务需求设置不同的调度依赖。您可以...
MySQL整库实时同步至OSS数据湖
本文以MySQL实时入湖写入至OSS场景为例，为您介绍如何通过数据集成实时入湖。前提条件 已购买合适规格的独享数据集成资源组。详情请参见：新增和使用独享数据集成资源组。已完成MySQL和OSS数据源配置，以便在同步任务配置时，可通过选择...
DataWorks OpenAPI概述
3级 TerminateDISyncInstance 调用TerminateDISyncInstance下线数据集成实时同步任务。3级 GenerateDISyncTaskConfigForCreating 调用GenerateDISyncTaskConfigForCreating接口，异步生成创建数据集成同步任务的异步线程ID。3级 ...
使用DataWorks
当您需要将MaxCompute中的数据导出至其他数据源执行后续数据处理操作时，您可以使用数据集成功能导出数据。本文为您介绍如何将MaxCompute的数据导出至其他数据源。背景信息 数据集成的导出方式有如下两种：向导模式：创建离线同步节点后，...
整库离线同步至MaxCompute
说明 您可以使用调度参数来指定同步源表及目标表的数据范围，调度参数使用说明请参见：数据集成使用调度参数的相关说明。配置数据同步的调度周期。根据任务运行需求设置数据同步任务的调度周期，包括 调度周期、生效日期、暂停调度 等。...
通过向导模式配置离线同步任务
数据集成提供向导式的开发引导，您无需编写任何代码，通过在界面勾选数据来源与去向，并结合DataWorks调度参数，实现将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍向导模式配置离线同步任务的常规配置，各...
一键实时同步至Hologres
任务组成 当前方案将分别创建用于全量数据初始化的离线同步子任务，和用于增量数据实时同步的数据集成实时同步子任务，方案产生的离线同步子任务个数与最终读取的源端表个数有关。数据写入 任务配置当天，先执行全量数据初始化的离线同步...
一键实时同步至MaxCompute
任务组成 当前方案将分别创建用于全量数据初始化的离线同步子任务，和用于增量数据实时同步的数据集成实时同步子任务，方案产生的离线同步子任务个数与最终读取的表个数有关。数据写入 支持全增量数据实时写入，也支持仅进行增量数据实时...
一键实时同步至MaxCompute
任务组成 当前方案将分别创建用于全量数据初始化的离线同步子任务，和用于增量数据实时同步的数据集成实时同步子任务，方案产生的离线同步子任务个数与最终读取的表个数有关。数据写入 支持全增量数据实时写入，也支持仅进行增量数据实时...
通过脚本模式配置离线同步任务
配置资源属性：用于定义调度场景下，将当前任务下发至数据集成任务执行资源时所使用的调度资源组，您可以在调度配置的资源属性区域，选择任务调度运行时需要使用的资源组。说明 数据集成离线任务通过调度资源组下发至对应的数据集成任务...
一键实时同步至DataHub
任务组成 当前方案将分别创建用于全量数据初始化的离线同步子任务，和用于增量数据实时同步的数据集成实时同步子任务，方案产生的离线同步子任务个数与最终读取的源端表个数有关。数据写入 运行同步任务后，生成的离线同步任务将全量数据...
告警事件
告警事件集中为您展示离线计算、实时计算、实时集成、基线监控、数据质量模块的告警事件。本文为您介绍如何查看并处理告警事件。查看告警事件 在Dataphin首页，单击页面右上角的 图标，进入 告警中心 页面。在 告警事件 页面，单击 离线...
QueryDISyncTaskConfigProcessResult
调用...DataWorks目前仅支持直接使用 CreateDISyncTask 接口创建或 UpdateDISyncTask 接口更新数据集成离线同步任务，而数据集成实时同步任务和解决方案同步任务则需要先调用 GenerateDISyncTaskConfigForCreating、...
实时数据消费概述
实时数据消费功能包含高速数据导入API和实时数据源消费两部分，可实现数据直接写入Segment（分片单元），避免通过COPY或INSERT方式造成的Master写入负载高的问题，也可实现使用 AnalyticDB PostgreSQL版 单产品直接消费Kafka数据。...
创建Impala数据源
使用限制 Dataphin的Impala数据源的数据集成使用JDBC的方式进行集成，因此性能相较于Hive较差，若您集成的表为非Kudu表，您可使用Hive数据源及输入输出组件集成。仅当连接E-MapReduce 5.x版本的Impala数据源时，才支持使用DLF获取元数据。...
- 产品推荐
- 这些文档可能帮助您