使用MaxCompute独享Tunnel进行数据同步
实时同步任务使用独享传输资源 单表实时同步任务使用独享传输资源 进入数据开发，打开或 创建实时同步节点，单击MaxCompute节点，在右侧弹出的节点配置面板中的 Tunnel资源组 属性中，选择独享传输资源组。整库实时同步任务使用独享传输...
配置并管理实时同步任务
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，同步数据至Kafka。本文为您介绍如何创建数据实时同步任务，并在创建完成后查看任务运行情况。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步的...
实时同步任务运行与管理
实时同步任务页面为您展示实时同步任务提交至调度系统后，经过调度系统运行后产生的实时同步任务实例。进入实时任务运维页面 登录 DataWorks控制台，单击左侧导航栏的 数据建模与开发>运维中心，在下拉框中选择对应工作空间后单击 进入运维...
上线实时任务
本文介绍如何上线实时同步任务。前提条件 已新增实时任务，具体操作，请参见 新增实时任务、新增多表实时任务。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 ...
上线实时任务
本文介绍如何上线实时同步任务。前提条件 已新增实时任务，具体操作，请参见 新增实时任务、新增多表实时任务。操作步骤 登录企业数据智能平台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产...
一键实时同步至Elasticsearch
一键实时同步至Elasticsearch方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至Elasticsearch任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置...
一键MaxCompute任务出错恢复
本文为您介绍一键实时同步MaxCompute任务失败场景及恢复解决方法。常见的实时任务写入失败场景 场景分类 相关文档 Binlog无丢失场景及全增量同步任务 Binlog无丢失 Binlog有丢失场景及全增量同步任务 Binlog有丢失 Merge任务的报错失败场景...
配置Hologres输出
前提条件 配置Hologres输出节点前，您需要先配置好相应的输入或转换数据源，详情请参见 实时同步支持的数据源。背景信息 Hologres支持的版本：0.7、0.8、0.9、0.10、1.1。字段使用限制：不支持UUID类型的字段。操作步骤 进入 数据开发 页面...
实时同步字段格式
本文为您介绍数据集成实时同步字段的格式及附加列。数据集成实时同步MySQL或Oracle数据的记录格式如下。sequence_id_operation_type_execute_time_before_image_after_image_字段1 字段2 字段3 增量事件的记录 ID，值唯一且递增。操作类型...
增加或删除已运行任务的同步表
前提条件 已创建并运行同步数据至Kafka解决方案的任务，详情请参见 一键实时同步至Kafka。同步任务新增表 在 解决方案任务列表 页面，选择目标同步任务后的 更多>修改配置，进入任务配置页面。新增同步源表并更新源表至目标表的映射关系。...
全增量同步任务常见问题
一键实时同步至MaxCompute时,分表是否可以同步到同一张表里?一键实时全增量同步任务中，实时同步时修改源表字段是否会导致报错？PolarDB数据源网络联通性测试失败怎么办？OceanBase数据源网络联通性测试失败怎么办？MySQL数据源网络联通性...
Oracle同步至Tablestore
本文以Oracle同步至表格存储Tablestore场景为例，为您介绍如何通过数据集成将Oracle的某张表数据实时同步到Tablestore。使用限制 本实践仅支持使用 独享数据集成资源组。前提条件 已完成来源数据源、去向数据源的配置。本实践以Oracle作为...
一键实时同步至AnalyticDB for MySQL 3.0
一键实时同步至 AnalyticDB for MySQL 3.0方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至 AnalyticDB for MySQL 3.0任务。前提条件 已完成数据源配置。您需要在数据...
数据同步方案概览
数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。本文将介绍数据同步功能支持的数据库、同步类型和同步拓扑。收费策略 DTS数据同步...
数据同步方案概览
通过使用阿里云 数据传输服务（DTS），您可以实现 PolarDB 的实时同步。数据同步 使用场景 文档链接 PolarDB 间的数据同步 PolarDB MySQL集群间的单向同步 PolarDB MySQL集群间的双向同步 PolarDB 与其它数据库的数据同步 RDS MySQL同步至...
数据集成侧同步任务配置
如果您选择一键实时同步方案，该方案将分别创建用于同步全量数据的离线同步任务，和用于同步增量数据的实时同步任务。您需要在 运行资源设置 界面分别配置离线同步任务的及实时同步任务的相关属性。包括实时同步子任务和离线同步子任务的...
日志服务数据同步至Hologres
在数据集成中创建和运行实时同步任务，详情请参见 配置单表增量数据实时同步 和 实时同步任务运维。本示例创建的实时同步任务，配置输入为Loghub数据源，输出为Hologres数据源，并配置如下字段同步映射关系。查询数据。实时同步任务运行...
数据导入与迁移
RDS增量数据同步 通过BDS数据同步服务可以将RDS增量数据实时同步到HBase增强版中，使用说明：开通 LTS服务。在BDS中添加HBase增强版集群关联，具体操作方法参见 添加HBase增强版数据。请参见 RDS全增量同步 完成配置。HBase迁移至HBase增强...
迁移MySQL至Hologres
MySQL单表实时同步至Hologres 整库实时同步 将MySQL数据库整库实时同步至Hologres。MySQL整库实时同步至Hologres 同步解决方案 数据集成支持同步解决方案功能，您可以通过配置同步规则，一次性实时同步数据至对应的数据源中。同步解决方案...
操作流程
创建同步任务 支持单个、批量配置同步任务，通过同步的Meta信息支持自动创建目标表，支持创建实时同步任务、离线同步任务两种模式。上线同步任务 同步任务上线后会按照创建同步任务中设置的调度周期执行，支持一次性运行和周期运行。任务...
同步方案选取指南
同步方案 原理说明 适用场景 使用限制 相关文档 DTS实现数据实时同步 通过订阅binlog的方式实现数据同步，在不影响源数据库的情况下，同步延迟可降至毫秒级别。对数据同步的实时性要求较高的场景。DTS在执行全量数据初始化时将占用源库和...
操作流程
创建同步任务 支持单个、批量配置同步任务，通过同步的Meta信息支持自动创建目标表，支持创建实时同步任务、离线同步任务两种模式。上线同步任务 同步任务上线后会按照创建同步任务中设置的调度周期执行，支持一次性运行和周期运行。任务...
概述
不同类型的节点会生成各类任务，主要包括离线同步任务、离线计算任务、实时同步任务、实时计算任务等。对于离线同步任务、离线计算任务，每次运行时会生成该次运行周期的实例。全局概览 支持查看任务流、任务、任务实例的统计信息，并提供...
概述
不同类型的节点会生成各类任务，主要包括离线同步任务、离线计算任务、实时同步任务、实时计算任务等。对于离线同步任务、离线计算任务，每次运行时会生成该次运行周期的实例。全局概览 支持查看任务流、任务、任务实例的统计信息，并提供...
任务中心
不同类型的节点会生成各类任务，主要包括离线同步任务、离线计算任务、实时同步任务、实时计算任务等。对于离线同步任务、离线计算任务，每次运行时会生成该次运行周期的实例。全局概览 支持查看任务流、任务、任务实例的统计信息，并提供...
应用场景
数据传输服务DTS（Data Transmission Service）支持数据迁移、数据订阅和数据实时同步功能，帮助您实现多种典型应用场景。不停机迁移数据库 传输方式：数据迁移 为了保证数据的一致性，传统的迁移过程需要您在迁移数据时停止向源数据库写入...
Kafka单表实时入湖OSS（HUDI）
实时同步 中包含实时同步的统计信息，包含实时的运行信息、DDL记录、报警信息等。任务重跑 直接重跑 不修改任务配置，直接单击同步任务 操作 列的 更多>重跑 操作，重跑一次性任务。修改后重跑 编辑任务，进行修改操作后，单击 完成。此时...
MySQL数据源
针对已经XA PREPARE的事务数据，实时同步会将其同步到目标端，如果XA ROLLBACK，实时同步不会针对XA PREPARE的数据做回滚写入的操作。若要处理XA ROLLBACK场景，需要手动将XA ROLLBACK的表从实时同步任务中移除，再添加表后重新进行同步。...
UpdateDIProjectConfig
当前DataWorks仅支持为同步解决方案任务中的实时同步DDL消息处理策略设置默认的全局配置。如果您的同步解决方案任务包含实时同步任务，则配置 DDL消息处理规则时会读取此处的全局配置为默认配置。您也可以根据实际业务需求修改目标同步任务...
StopDISyncInstance
调用StopDISyncInstance接口，停止实时同步任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String ...
ListDIProjectConfig
当前DataWorks仅支持为同步解决方案任务中的实时同步DDL消息处理策略设置默认的全局配置。如果您的同步解决方案任务包含实时同步任务，则配置 DDL消息处理规则时会读取此处的全局配置为默认配置。您也可以根据实际业务需求修改目标同步任务...
最佳实践概览
同步方案选取指南 通过Logstash将RDS MySQL数据同步至Elasticsearch 通过DataWorks将MySQL数据同步至Elasticsearch 通过DTS将MySQL数据实时同步到阿里云Elasticsearch 通过Canal将MySQL数据同步到阿里云Elasticsearch PolarDB-X（DRDS）...
点表-轨迹表数据同步
但点表和轨迹表不能实时同步。自动同步：通过触发器，在插入点表时，自动将点同步到轨迹表中。点表和轨迹表可以实时同步，但会影响点表的写入性能。手动同步SQL示例：说明 手动同步时，需要在点表上增加一列以标记此点是否已经同步到轨迹表...
点表-轨迹表数据同步
但点表和轨迹表不能实时同步。自动同步：通过触发器，在插入点表时，自动将点同步到轨迹表中。点表和轨迹表可以实时同步，但会影响点表的写入性能。手动同步SQL示例：说明 手动同步时，需要在点表上增加一列以标记此点是否已经同步到轨迹表...
点表-轨迹表数据同步
但点表和轨迹表不能实时同步。自动同步：通过触发器，在插入点表时，自动将点同步到轨迹表中。点表和轨迹表可以实时同步，但会影响点表的写入性能。手动同步SQL示例：说明 手动同步时，需要在点表上增加一列以标记此点是否已经同步到轨迹表...
DataWorks的审计事件
CreateDISyncAlarmRule 创建实时同步任务报警规则。CreateDISyncTask 创建数据集成同步任务。CreateDQCRuleWithIds 创建数据质量规则。CreateExportMigration 新建导出任务。CreateFile 在数据开发中创建一个文件。CreateFolder 创建文件夹...
使用DTS同步RDS MySQL数据到AnalyticDB MySQL 2.0
本文以RDS MySQL数据源为例，介绍如何通过DTS将RDS MySQL数据实时同步至 AnalyticDB MySQL版 2.0 中。前提条件 根据 RDS MySQL快速入门，准备好测试数据。根据 AnalyticDB MySQL版2.0快速入门 完成数据库创建、表组创建等准备工作。背景...
StartDISyncInstance
调用StartDISyncInstance接口，启动实时同步任务和解决方案同步任务。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 ...
数据迁移与同步FAQ
数据同步：将Redis数据库中的数据（即键值对）实时同步至另一个Redis数据库中。通常会持续运行该任务，用于保持源库和目标库的数据一致性。说明 数据迁移与数据同步均是从源库复制数据至目标库，不会对源库的数据产生影响。DTS的数据迁移与...
配置Kafka输入
您也可以展开业务流程，右键单击目标业务流程，选择 新建节点>数据集成>实时同步。在 新建节点 对话框中，选择同步方式为 单表（Topic）到单表（Topic）ETL，输入 名称，并选择 路径。重要 节点名称必须是大小写字母、中文、数字、下划线...
- 产品推荐
- 这些文档可能帮助您