实时同步任务告警设置最佳实践
对于DataWorks数据集成的实时同步任务、全增量同步任务的实时同步阶段，您可以设置任务告警规则，用来监控同步任务的状态，本文为您介绍实时同步任务告警设置的指标有哪些，并为您示例一个最佳实践。告警规则指标 您可以在DataWorks的运维...
DataWorks数据集成
通过向导模式配置数据集成任务，需要依次完成以下几步：新建数据同步节点。选择数据来源。选择数据去向（这里的数据去向一定是 AnalyticDB PostgreSQL版）。配置字段的映射关系。配置作业速率上限、脏数据检查规则等信息。配置调度属性。...
数据源概述
在配置数据集成同步任务之前，您需要首先定义好同步任务的源端和目的端数据源信息，以便在配置同步任务时，能够通过选择数据源名称来确定数据的读取和写入数据库。本文将介绍配置数据源时您需要了解的相关信息。数据源功能概述 配置数据源...
创建Hive数据源
Hive数据源配置参数中，集成配置 是为了支持数据集成，实时研发配置 是为了支持实时研发的场景，而 元数据库配置 是基础的配置，用来获取元数据。说明 通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据...
数据集成调度策略说明
配置方法 您需要在配置数据集成任务的设置 迁移类型及列表 环节中，为数据集成任务配置调度策略。说明 相关配置案例，请参见 配置RDS MySQL间的数据集成任务。调度策略说明 调度策略 说明 适用场景 多副本模式 DTS根据调度周期，自动地将源...
DeployDISyncTask
取值如下：DI_REALTIME：表示数据集成实时同步任务。DI_SOLUTION：表示数据集成同步解决方案。RegionId String 是 cn-zhangjiakou 地域信息，通常为服务所在的地域。例如，华东2（上海）为cn-shanghai，华北3（张家口）为cn-zhangjiakou。...
TerminateDISyncInstance
下线数据集成实时同步任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
独享资源组模式
独享数据集成资源组 独享数据集成资源组创建成功后，您需要在配置数据集成任务时修改任务运行资源。在 资源组列表>独享资源组 页面，单击相应资源后的 修改归属工作空间，绑定独享数据集成资源组归属的工作空间。在数据集成任务的编辑页面...
使用DataWorks（离线与实时）
数据集成侧操作 登录 DataWorks控制台 后进入 工作空间列表 页面，在目标工作空间 操作 列单击 快速进入>数据集成，在 数据集成 页面创建数据同步任务，将其他数据源的数据同步至MaxCompute。详细操作指导请参见 数据集成侧同步任务配置。...
离线同步能力说明
离线同步任务配置 您可以通过以下方式配置数据集成离线同步任务。向导模式：提供向导式的开发引导，通过可视化的填写和下一步的引导，助您快速完成数据同步任务的配置工作。向导模式的学习成本低，但无法支持部分高级功能。详情请参见：...
实时同步字段格式
本文为您介绍数据集成实时同步字段的格式及附加列。数据集成实时同步MySQL或Oracle数据的记录格式如下。sequence_id_operation_type_execute_time_before_image_after_image_字段1 字段2 字段3 增量事件的记录 ID，值唯一且递增。操作类型...
DataStudio侧实时同步任务配置
说明 您可以在 数据集成>配置选项>实时同步DDL消息处理策略 页面，针对每个写入的目标数据库类型，设置DDL处理策略。不同DDL消息处理策略如下表所示。DDL消息类型 处理策略 新建表 DataWorks收到对应类型的DDL消息时，处理策略如下：正常...
迁移ECS自建MySQL数据库至MaxCompute
配置数据集成任务。右键单击业务流程，选择 新建节点>数据集成>离线同步，创建一个数据集成任务。选择您的数据来源为您刚添加的MySQL数据源，数据去向选择已添加的MaxCompute数据源，单击 转换脚本 切换数据集成任务为脚本模式。此时，如果...
日志服务通过数据集成投递数据
本文将以LogHub数据同步至MaxCompute为例，为您介绍如何通过数据集成功能同步LogHub数据至数据集成已支持的目的端数据源（例如MaxCompute、OSS、Tablestore、RDBMS和DataHub等）。前提条件 准备好相关的数据源，详情请参见 创建MaxCompute...
RestAPI（HTTP形式）数据源
则需要将 column 配置为"column":["SERNR"]，dataMode 配置为"dataMode":"oneData"，dataPath 配置为"dataPath":"content.DATA"Reader脚本参数 说明 以下的参数包含在添加数据源和配置数据集成任务节点的过程中。当前插件暂不支持使用调度...
管理中心功能概览
例如，在配置数据集成任务前，可先在DataWorks数据源管理页面，配置好需同步的源端和目标端数据库或数据仓库的相关信息，并在同步过程中，通过数据源名称来控制读取和写入的数据库或数据仓库。开源集群 在 开源集群 处，可管理已绑定至...
DataWorks的审计事件
DIBatchOfflineStreamxJob 运维中心数据集成功能下批量下线实时任务。DIBatchRunStreamxJob 运维中心数据集成功能下批量启动实时任务。DIBatchStartAlarmRule 运维中心数据集成功能下批量启动告警规则。DIBatchStopAlarmRule 运维中心数据...
场景：调度参数在数据集成的典型应用场景
调度参数可以同于数据集成任务配置的各个阶段。本文为您介绍调度参数的典型应用场景。背景信息 DataWorks数据集成结合调度参数使用，可实现以下场景：场景 说明 相关文档 增量数据同步 部分Reader插件可通过调度参数实现每次调度只同步指定...
数据传输作业：数据集成
MaxCompute支持通过DataWorks数据集成功能将其他数据源数据同步至MaxCompute，数据集成作业主要有三种类型：离线同步、实时同步、同步解决方案。本文为您介绍MaxCompute数据集成的实现方案。离线同步 离线（批量）的数据通道通过定义数据...
实时数据消费概述
实时数据消费功能包含高速数据导入API和实时数据源消费两部分，可实现数据直接写入Segment（分片单元），避免通过COPY或INSERT方式造成的Master写入负载高的问题，也可实现使用 AnalyticDB PostgreSQL版 单产品直接消费Kafka数据。...
迁移或同步指定时间段内的数据
实时数据复制 重要 实时数据复制是通过WAL日志（Write-Ahead Log）进行同步的，因此只能同步系统当前日志中的数据，例如设置同步的开始时间为3天前，而WAL日志只涵盖了1天前的数据，那么实时数据复制只能同步1天前的数据。历史数据的同步...
数据集成支持的数据源
数据集成支持离线集成、实时集成、整库迁移集成方式。本文为您介绍离线集成、实时集成、整库迁移支持的数据源类型。不同集成类型适用场景 集成类型 适用场景 离线集成 适用于数据上云、云上数据迁移到本地业务系统等场景。例如，将本地数据...
新建元表
附录：实时数据源配置信息说明 数据源 配置 描述 MaxCompute 来源表、blinkType 来源表：数据的来源表。blinkType：支持选择odps或continuous-odps。odps：作为source表为全量读取，可作为sink表。continuous-odps：作为source表为增量读取...
新建元表
附录：实时数据源配置信息说明 数据源 配置 描述 MaxCompute 来源表、blinkType 来源表：数据的来源表。blinkType：支持选择odps或continuous-odps。odps：作为source表为全量读取，可作为sink表。continuous-odps：作为source表为增量读取...
管理数据集成任务
完成数据集成任务的配置后，您可以停止、恢复或删除该数据集成任务。前提条件 已创建数据集成任务，相关案例请参见 配置RDS MySQL间的数据集成任务。背景信息 数据集成任务支持的管理操作及对应的影响请参见下表。操作 影响 停止数据集成...
HDFS数据源
类型分类 数据集成column配置类型 Hive数据类型 整数类 long tinyint、smallint、int和bigint 浮点类 double float和double 字符串类 string string、char、varchar、struct、map、array、union和binary 日期时间类 date date和timestamp ...
实时同步数据库的数据至Hologres
PolarDB MySQL PolarDB MySQL 配置数据源（来源为PolarDB）配置数据源（来源为Oracle）配置数据源（来源为MySQL）配置并管理实时同步任务 同步解决方案 提供多种数据源之间进行不同数据同步场景的同步解决方案，包括实时数据同步、离线全量...
Amazon S3数据源
支持的字段类型 类型分类 数据集成column配置类型 S3数据类型 整数类 LONG LONG 浮点类 DOUBLE DOUBLE 字符串类 STRING STRING 日期时间类 DATE DATE 布尔型 BOOL BOOL 数据同步任务开发 Amazon S3数据同步任务的配置入口和通用配置流程...
MySQL数据源
实时读取：数据集成实时读取MySQL数据是基于实时订阅MySQL实现的，当前仅支持实时同步MySQL 5.5.x、MySQL 5.6.x、MySQL 5.7.x、MySQL 8.0.x（非8.0新特性，比如 functional index，仅兼容原有功能）版本的MySQL数据，兼容 Amazon RDS for ...
DataWorks OpenAPI概述
DataWorks为您提供了涵盖租户、元数据、数据开发、运维中心、数据集成等多个功能模块的OpenAPI接口，不同API的QPS限制、每日调用次数上限和支持使用的DataWorks服务版本存在差异。您可参考本文了解各OpenAPI支持的DataWorks版本及地域、...
地图容器
图表样式 地球容器是3D球形地图中用于承载地图本身和各自组件的容器，支持添加球体层、飞线层等子组件，支持配置地图的渲染模式、背景、视点位置等，能够以3D立体的形式，多角度、多形式地渲染全世界地理位置的实时数据。配置面板 子组件...
日志服务数据同步至Hologres
存在多种方式可以将日志服务SLS的数据写入至Hologres，本文以Flink、DataWorks数据集成为例，为您介绍如何将SLS数据实时写入至Hologres。前提条件 开通SLS服务并创建Project和Logstore，详情请参见 快速入门。开通Hologres服务并连接至开发...
通过DataWorks导入数据
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
Oracle数据源
Oracle数据源为您提供读取和写入Oracle双向通道的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的Oracle数据同步能力支持情况。支持的版本 离线读写 版本 离线读（Oracle Reader）离线写（Oracle ...
PolarDB数据源
整库离线读、单表/整库全增量实时读同步任务配置指导 操作流程请参见 数据集成侧同步任务配置。常见问题 实时同步Oracle、PolarDB、MySQL任务重复报错 附录：脚本Demo与参数说明 附录：离线任务脚本配置方式 如果您配置离线任务时使用脚本...
通过DataWorks导入
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据...
DataWorks公共数据集成（调试）资源组下线公告
已经配置了DataWorks公共数据集成资源组的任务可继续正常运行，但不能对这些任务进行修改，若您需修改这些任务，请于 2024年4月1日 前切换为 DataWorks独享数据集成资源组。2024年9月1日 起，DataWorks公共数据集成资源组不再提供服务，...
通过DataWorks导入数据
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。离线同步支持的数据源及其配置详情请参见 支持的数据源与读写插件。说明 数据...
Oracle数据导入
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
通过DataWorks导入
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
- 产品推荐
- 这些文档可能帮助您