采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
影子表同步
SQL 预览 显示同步表结构的 SQL 语句。任务设置 选择审批完成后的 执行方式。立即同步：立即执行同步任务。定时同步：定时执行同步任务。选择 任务错误处理 方式。停止任务：在执行过程中，遇到出错则中断后面的 SQL 脚本，不再执行。忽略...
自建Oracle同步至云原生数据仓库AnalyticDB ...
如果您的自建Oracle版本为12c及以上，待同步表的名称长度需不超过30个字节。如同步对象为表级别，且需进行编辑（如表列名映射），则单次同步任务仅支持同步至多1000张表。当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步...
库表同步
模板 结构同步校验「结构同步」设置测试库同步免批「结构同步」关闭SQL执行能力「结构同步」关闭线上库的SQL执行能力「结构同步」设置线上库同步的审批流程 影子表同步校验「影子表同步」设置测试库同步免批「影子表同步」关闭SQL执行能力...
配置跨库Spark SQL节点
任务编排中的跨库Spark SQL节点，主要针对各类跨库数据同步和数据加工场景，您可以通过编写Spark SQL，完成各种复杂的数据同步或数据加工的任务开发。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、...
RDS SQL Server间的同步
通过数据传输服务DTS（Data Transmission Service），可以实现 RDS SQL Server 间的数据同步。前提条件 已创建源和目标 RDS SQL Server 实例。支持的版本，请参见 同步方案概览。创建方式，请参见 快速创建RDS SQL Server实例。重要 在混合...
实时分析海量MaxCompute数据
输入MaxCompute表的名称，例如 public_data.customer 就可以索引出表的字段，您可以根据实际业务，选择需要同步的表字段，单击 提交。说明 目前暂不支持跨地域查询MaxCompute表的数据。创建外部查询MaxCompute数据是通过外部服务器来实现的...
连接HoloWeb
说明 创建外部表同步MaxCompute表的数据时，会将数据库中表字段的Comment和列的Comment一并同步至Hologres。成功新建外部表后，选择左侧导航栏 元数据管理>已登录实例。双击目标外部表，在外部表的编辑界面单击 数据预览，加速查询...
RDS SQL Server同步至RDS MySQL
说明 如需按库或表级别选择同步的SQL操作，请在 已选择对象 中右击待同步对象，并在弹出的对话框中选择所需同步的SQL操作。支持的操作，请参见 支持同步的SQL操作。如需设置WHERE条件过滤数据，请在 已选择对象 中右击待同步的表，在弹出的...
RDS SQL Server同步至云原生数据仓库 AnalyticDB ...
说明 若选中了 全量同步，则执行了CREATE TABLE语句的待同步表（表结构和表数据）支持同步至目标库。目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表，则通过该检查项目；如果...
RDS SQL Server同步至云原生数据仓库 AnalyticDB ...
说明 若选中了 全量同步，则执行了CREATE TABLE语句的待同步表（表结构和表数据）支持同步至目标库。目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表，则通过该检查项目；如果...
RDS SQL Server同步至云原生数据仓库AnalyticDB ...
说明 如需按库或表级别选择同步的SQL操作，请在 已选择对象 中右击待同步对象，并在弹出的对话框中选择所需同步的SQL操作。支持的操作，请参见 支持同步的SQL操作。如需设置WHERE条件过滤数据，请在 已选择对象 中右击待同步的表，在弹出的...
RDS SQL Server同步至云原生数据仓库 AnalyticDB ...
说明 如需按库或表级别选择同步的SQL操作，请在 已选择对象 中右击待同步对象，并在弹出的对话框中选择所需同步的SQL操作。支持的操作，请参见 支持同步的SQL操作。如需设置WHERE条件过滤数据，请在 已选择对象 中右击待同步的表，在弹出的...
Db2 for LUW同步至AnalyticDB MySQL版 3.0
说明 若选中了 全量同步，则执行了CREATE TABLE语句的待同步表（表结构和表数据）支持同步至目标库。目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表，则通过该检查项目；如果...
PolarDB-X 1.0同步至云原生数据仓库 AnalyticDB MySQL...
说明 若选中了 全量同步，则执行了CREATE TABLE语句的待同步表（表结构和表数据）支持同步至目标库。目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表，则通过该检查项目；如果...
自建SQL Server同步至PolarDB MySQL版
数据传输服务DTS（Data Transmission Service）支持将自建SQL Server同步至 PolarDB MySQL版 集群。前提条件 自建SQL Server数据库支持的版本，请参见 同步方案概览。已创建目标 PolarDB MySQL版 集群，详情请参见 购买按量付费集群 和 ...
RDS MySQL同步至AnalyticDB MySQL 3.0
说明 若选中了 全量同步，则执行了CREATE TABLE语句的待同步表（表结构和表数据）支持同步至目标库。目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表，则通过该检查项目；如果...
跨阿里云账号同步RDS MySQL实例
为避免该问题，您可以在数据同步配置时，选择同步表A和表B所在的整个数据库作为同步对象。费用说明 同步类型 链路配置费用 库表结构同步和全量数据同步 不收费。增量数据同步 收费，详情请参见 计费概述。准备工作 必需：获取源库实例、...
功能特性
添加DTS服务器的IP地址段 跨境传输 默认仅支持非跨境的数据同步任务，若您需要创建跨境的数据同步任务，需要申请开通跨境同步的权限。申请跨境数据同步权限 什么是跨境 事件中心 事件通知 通过云监控平台的事件订阅对重要的事件设置定制化...
PolarDB-X 2.0同步至MaxCompute
是否去除正反向任务的心跳表sql 根据业务需求选择是否在DTS实例运行时，在源库中写入心跳SQL信息。是：不在源库中写入心跳SQL信息，DTS实例可能会显示有延迟。否：在源库中写入心跳SQL信息，可能会影响源库的物理备份和克隆等功能。配置ETL...
迁移时源库为SQL Server的注意事项及限制
如果迁移的源数据库类型为SQL Server，如自建SQL Server、RDS SQL Server，您需要在配置具体的迁移任务前，参考本文的注意事项及限制，以保障数据迁移任务的正常运行。源库为SQL Server的迁移方案概览 根据如下迁移方案，查看迁移任务的...
PolarDB-X 2.0同步至云原生数据仓库 AnalyticDB MySQL...
说明 若选中了 全量同步，则执行了CREATE TABLE语句的待同步表（表结构和表数据）支持同步至目标库。目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表，则通过该检查项目；如果...
RDS SQL Server同步至DataHub
说明 如需按库或表级别选择同步的SQL操作，请在 已选择对象 中右击待同步对象，并在弹出的对话框中选择所需同步的SQL操作。支持的操作，请参见 支持同步的SQL操作。如需设置WHERE条件过滤数据，请在 已选择对象 中右击待同步的表，在弹出的...
RDS MySQL同步至AnalyticDB for PostgreSQL ...
说明 如需按库或表级别选择同步的SQL操作，请在 已选择对象 中右击同步对象，在对话框中勾选所需同步的SQL操作。同步对象 在 源库对象 框中单击待同步对象，然后单击 将其移动至 已选择对象 框。说明 同步对象的选择粒度为表。映射名称更改...
不同阿里云账号下RDS实例间的数据同步
为避免该问题，您可以在数据同步配置时，选择同步表A和表B所在的整个数据库作为同步对象。准备工作 将目标RDS实例所属的云账号设置为授信云账号，允许通过数据传输服务访问源RDS实例所属云账号的相关云资源。详情请参见 跨阿里云账号数据...
不同阿里云账号下RDS实例间的数据同步
为避免该问题，您可以在数据同步配置时，选择同步表A和表B所在的整个数据库作为同步对象。准备工作 将目标RDS实例所属的云账号设置为授信云账号，允许通过数据传输服务访问源RDS实例所属云账号的相关云资源。详情请参见 跨阿里云账号任务...
一键MaxCompute Merge任务节点问题排查方案
Merge任务运行 Merge任务执行时，会对每张同步表生成一个SQL子任务，读取log表中该表的增量数据，合并该表前一日分区的全量数据，输出截止前一日全量分区数据。Merge任务的SQL子任务内部以并发方式执行，子任务如果有执行失败，符合条件的...
MySQL实例间的双向同步
功能限制 不兼容触发器 同步对象为整个库且这个库中包含了会更新同步表内容的触发器，那么可能导致同步数据不一致。例如数据库中存在了两个表A和B。表A上有一个触发器，触发器内容为在INSERT一条数据到表A之后，在表B中插入一条数据。这种...
PolarDB MySQL版间的同步
说明 如需按库或表级别选择同步的SQL操作，请在 已选择对象 中右击待同步对象，并在弹出的对话框中选择所需同步的SQL操作。支持的操作请参见 支持同步的SQL操作。如需设置WHERE条件过滤数据，请在 已选择对象 中右击待同步的表，在弹出的...
PolarDB-X 2.0同步至Elasticsearch
是否去除正反向任务的心跳表sql 根据业务需求选择是否在DTS实例运行时，在源库中写入心跳SQL信息。是：不在源库中写入心跳SQL信息，DTS实例可能会显示有延迟。否：在源库中写入心跳SQL信息，可能会影响源库的物理备份和克隆等功能。配置ETL...
PolarDB-X 2.0同步至Tablestore
是否去除正反向任务的心跳表sql 根据业务需求选择是否在DTS实例运行时，在源库中写入心跳SQL信息。是：不在源库中写入心跳SQL信息，DTS实例可能会显示有延迟。否：在源库中写入心跳SQL信息，可能会影响源库的物理备份和克隆等功能。监控...
Db2 for LUW同步至云原生数据仓库 AnalyticDB ...
说明 如需按库或表级别选择同步的SQL操作，请在 已选择对象 中右击待同步对象，并在弹出的对话框中选择所需同步的SQL操作。支持的操作请参见 支持同步的SQL操作。如需设置WHERE条件过滤数据，请在 已选择对象 中右击待同步的表，在弹出的...
Db2 for LUW同步至PolarDB MySQL版
如需按库或表级别选择增量同步的SQL操作，请在 已选择对象 中右击待同步对象，并在弹出的对话框中选择所需增量同步的SQL操作。支持的操作请参见 支持同步的SQL操作。单击 下一步高级配置，进行高级配置。数据校验配置 若您需要配置数据校验...
方案概述
若同步对象为表级别，且需进行编辑（如表列名映射），单次同步任务的表数量超过5000时，建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务，否则任务提交后可能会显示请求报错。WAL日志：需开启，即设置 wal_level 参数的值...
PolarDB MySQL版同步至Elasticsearch
已选择对象 如果您需要修改待同步表在目标Elasticsearch实例中的索引名称、Type名称、字段名称以及过滤条件等信息，可以在 已选择对象 区域框中，右键单击对应的表名进行设置。更多信息，请参见 库表列名映射 和 设置过滤条件。单击 下一步...
PolarDB-X 2.0同步至AnalyticDB PostgreSQL版
是否去除正反向任务的心跳表sql 根据业务需求选择是否在DTS实例运行时，在源库中写入心跳SQL信息。是：不在源库中写入心跳SQL信息，DTS实例可能会显示有延迟。否：在源库中写入心跳SQL信息，可能会影响源库的物理备份和克隆等功能。配置ETL...
PolarDB-X 1.0同步至阿里云消息队列Kafka
说明 若选中了 全量同步，则执行了CREATE TABLE语句的待同步表（表结构和表数据）支持同步至目标库。目标已存在表的处理模式 预检查并报错拦截：检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表，则通过该检查项目；如果...
PolarDB-X 2.0同步至PolarDB MySQL版
是否去除正反向任务的心跳表sql 根据业务需求选择是否在DTS实例运行时，在源库中写入心跳SQL信息。是：不在源库中写入心跳SQL信息，DTS实例可能会显示有延迟。否：在源库中写入心跳SQL信息，可能会影响源库的物理备份和克隆等功能。保存...
跨云账号单向同步云数据库Redis实例
说明 目标云数据库Redis支持的版本为4.0或5.0版本，如需跨版本同步（仅支持从低版本同步到高版本）请提前确认兼容性。例如创建按量付费的云数据库Redis来测试，测试完成后可将该实例释放或转为包年包月。跨云账号同步Redis实例支持集群架构...
- 产品推荐
- 这些文档可能帮助您