DTS同步任务源库和目标库使用SSL安全链接
DTS实例的任务类型为非同步类型不适用本规则，视为“不适用”。规则详情 参数 说明 规则名称 DTS同步任务源库和目标库使用SSL安全链接 规则标识 dts-instance-sync-job-ssl-enabled 标签 DTS，Instance 自动修正 不支持 规则触发机制 周期...
将表格存储数据表中数据同步到另一个数据表
使用通道服务、DataWorks或者DataX将表格存储数据表中的数据同步到另一个数据表。前提条件 已创建目标数据表，目标数据表的列必须与源数据表中待迁移的列一一对应。具体操作，请参见 创建数据表。说明 如果要实现跨账号、跨地域数据迁移，...
CREATE DATABASE AS（CDAS）语句
不要用CDAS方式创建Sink结果表进行数据同步，因为这种方式会无法走Fixed Plan，写入性能较差。实时计算Flink版仅支持读写Hologres内表，因此Hologres实例必须是独占实例，不支持 Hologres共享集群实例。StarRocks×仅支持EMR的StarRocks。...
阿里邮箱AD同步&认证
五、小技巧 如果同步出现较严重延迟，过了很久部门账号或邮件组都没同步至邮箱侧，建议刷新AD对象的任意非同步认证相关的关键属性值来触发同步。如果涉及到对象比较多，也可以通过如下指令进行批量操作。方案1：直接打开cmd命令框 csvde-f ...
方案概述
若源库单次提交的多条SQL中包含非同步对象的DDL，则该DDL不会被同步。其他限制：类型 说明 其他限制 单个数据同步任务只能同步一个数据库，如需同步多个数据库，一键迁移会为每个数据库配置数据同步任务。同步期间，如果同步对象的选择粒度...
将表格存储时序表中数据同步到另一个时序表
使用DataWorks工具将表格存储（Tablestore）时序表中的全量数据或者增量数据同步到另一个时序表。背景信息 表格存储支持对时序数据进行存储与查询，在某些场景下，您可能希望将时序表中的时序数据迁移到另一个时序表中。说明 关于表格存储...
同步增量数据到MaxCompute
如果需要将 表格存储 中新增和变化的数据定期同步到MaxCompute中备份或者使用，您可以通过在DataWorks数据集成控制台新建和配置离线同步任务来实现周期性增量数据同步。前提条件 已新增 表格存储 数据源。具体操作，请参见 注意事项。已...
导出全量数据到MaxCompute
如果需要使用MaxCompute备份 表格存储 数据或者迁移 表格存储 数据到MaxCompute中使用，您可以通过在DataWorks数据集成控制台新建和配置离线同步任务来实现全量数据导出。全量数据导出到MaxCompute后，您可以使用DataWorks数据分析功能查看...
采集数据
本文为您介绍如何新建OSS和RDS数据源来访问本教程所提供的用户信息与网站日志数据，配置数据同步链路至私有OSS数据源，并通过EMR Hive节点建表去查询同步后的数据，完成数据同步的操作过程。前提条件 开始本文的操作前，请准备好需要使用的...
网络时间同步助手
本文介绍如何通过函数计算部署网络时间同步助手，实现设备本地时间与网络时间同步。如果您的设备上已经安装了NTP服务，有和云端服务器周期性同步系统时间的能力，则无需操作本文内容。前提条件 本示例仅适用于Link IoT Edge专业版，在开始...
MySQL分库分表实践
背景信息 实际业务场景下数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。尤其是在MySQL分库分表的场景下，上游的...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
修改全局默认日历
中国（同步更新）：根据中国国家日历同步非工作日信息。美国：根据美国国家日历同步非工作日信息。工作时间 设置工作时间范围。单击 确定。重置日期时间。单击 新建 重置。在 重置日期时间 对话框中，设置如下参数。参数 说明 日期 选择...
采集数据
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
资源组操作及网络连通
如果您需要使用独享数据集成资源组通过内网同步ECS自建的数据库，您需要为独享数据集成资源组做相关的网络配置，详情可参见 新增和使用独享数据集成资源组，连通方案核心点为：独享数据集成资源组绑定ECS所在VPC，会自动添加一个路由指向...
增量数据同步
通过选择已注册的数据源端数据和目标端，实现增量任务自动建表的方式创建离线同步周期任务，本文介绍如何创建MySQL to MaxCompute离线增量数据同步周期调度的任务。前提条件 已新建工作组“信息中心（xxzx）”，具体操作，请参见 新建工作...
通过数据同步功能同步SLS至湖仓版（推荐）
AnalyticDB for MySQL 湖仓版（3.0）支持新建SLS同步链路，通过同步链路从指定时间位点将日志服务LogStore中的数据实时同步至 湖仓版（3.0），以满足近实时产出、全量历史归档、弹性分析等需求。本文介绍如何添加SLS数据源，新建SLS同步...
离线同步读取MongoDB数据
col_1","type":"string"} {"name":"col_2","type":"string"} {"name":"col_combine","type":"combine"} document共有字段4个，任务已配置非combine类型字段2个（col_1、col_2），同步任务运行时，会将col_1、col_2两个字段外的其他字段按...
账户同步接入概述
IDaaS 暂不支持同步用公私钥轮转，同步公私钥信息不会变化。payload iss payload String 固定值：urn:alibaba:idaas:app:event 代表是由 IDaaS 发起的事件订阅通知。sub payload String 客户的 IDaaS 实例ID aud payload String 客户的 ...
购买流程
购买数据同步任务 重要 建议使用DTS新版控制台，支持先配置后购买同步任务，详情请参见 配置同步任务。目前跨境同步链路默认不开放购买，若您需要购买跨境同步任务，请先申请开通跨境数据同步的权限，详情请参见 申请跨境数据同步权限。...
Kafka数据源
如果选择了自定义同步主键，则同步时使用其他非主键的一个或几个字段的联合，代替主键作为kafka记录的key。如果在kafka集群发生响应异常的情况下，仍要确保有主键表同主键的变更有序写入kafka的同一分区，则需要在配置kafka数据源时，在...
【邀测】同步备份
使用同步备份 创建双向同步：单击 同步备份>创建双向同步，建立同步映射关系，云端和本地的文件会自动同步更新。高级设置：支持同步过滤，排除指定文件类型，支持设置同步限速。同步状态管理：支持管理同步状态。同步任务管理：支持暂停...
数据同步操作指导
本文介绍数据同步功能的具体使用流程，帮助您快速掌握创建、监控、管理数据同步任务的操作。背景知识 同步方案概览 介绍数据同步功能支持的数据库、同步初始化类型和同步拓扑，以及配置步骤。结构初始化涉及的数据类型映射关系 由于不同的...
路由同步
本文为您介绍路由同步的使用限制、路由同步机制以及如何开启和关闭路由同步功能。使用限制 仅企业版转发路由器支持路由同步功能。对于已经连接至多个企业版转发路由器的VPC实例，仅支持在一个企业版转发路由器下开启路由同步功能。对于已经...
RDS实例数据复制方式非异步同步
异步数据复制方式容易引起主备节点数据不一致，建议使用半同步或强同步方式。应用场景 异步复制的RDS实例数据性能好，但可能会出现数据不一致的情况。同步复制的RDS实例数据可以保证主实例和备实例的数据一致性，同时也可以实现高可用性和...
跨账号同步实例
公有云Region不支持同步至非公有云Region（金融云、政务云等）。背景信息 跨账号同步实例支持阿里云账号和阿里云账号之间、RAM用户和RAM用户之间、阿里云账号和RAM用户之间的实例同步。跨账号自动同步实例 通过配置同步规则，在源实例上传...
创建同步任务
您需要测试每种资源组的连通性，以保证同步任务使用的资源组能够与数据源连通，否则将无法正常执行数据同步任务。测试连通性通过后，单击 完成，数据源创建完成。步骤二：新建并配置同步任务 通过创建同步节点 write_result 来生成一个同步...
数据迁移与同步FAQ
本文为您列出数据迁移与数据同步的常见问题和相关解答。什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：...
配置数据层
杭州中心单元 创建同步任务方式 包括直接录入和手动创建的方式：直接录入：如果您在 数据传输控制台 已经创建一个状态为同步中（双向同步的反向同步链路状态也为同步中）的同步任务，则可以直接选择该同步任务进行录入。手动创建：如果您在...
离线同步任务调优
本文为您介绍影响数据同步速度的因素、如何通过调整同步任务的并发配置来实现同步速度最大化、作业的限速选项，以及数据同步过慢的场景。文档概述 同步速度受同步任务本身配置、数据库、网络等多方面影响，详情请参见：数据同步速度的影响...
数据下载
文件网关使用反向同步或极速同步，详细步骤请参见 创建共享 及 极速同步。背景信息 在默认情况下，文件网关通过反向同步或极速同步将OSS Bucket元数据同步到本地客户端。而文件网关复制模式下数据会在本地客户端和OSS Bucket分别有一份拷贝...
数据管理DMS逻辑库同步至云原生数据仓库 AnalyticDB ...
对于表级别的数据同步，请勿对源库的同步对象使用pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。对于表级别的数据同步，如果除DTS以外的数据没有写入目标库，您可以使用数据管理DMS（Data Management）来执行...
配置RAM用户同步
删除策略：删除RAM用户同步时，对已同步的RAM用户的处理策略。保留：删除RAM用户同步时，会保留已同步的RAM用户。删除：删除RAM用户同步时，会删除已同步的RAM用户。单击 提交。单击 完成。配置成功后，会在目标RD账号内创建一个同名的RAM...
MySQL整库周期性增全量同步至Hive
本文以MySQL为源端，Hive为目标端场景为例，为您介绍如何把MySQL整个数据库的数据离线同步到Hive。使用限制 本实践仅支持使用独享数据集成资源组。前提条件 已完成来源数据源、去向数据源的配置。本实践以MySQL作为来源数据源，以Hive作为...
实施步骤
通过DTS实时同步PolarDB for MySQL数据到分析型数据库MySQL版需要以下几个步骤：步骤一：创建DTS同步作业 步骤二：配置同步链路 步骤三：查看同步数据 步骤一：创建DTS同步作业 创建DTS同步作业需要用户支付一定的费用，DTS支持两种付费...
Hologres整库周期性增全量同步至MaxCompute
本文以Hologres离线同步写入MaxCompute场景为例，为您介绍如何把Hologres整个数据库的数据离线同步到MaxCompute。使用限制 本实践仅支持使用独享数据集成资源组。前提条件 已完成来源数据源、去向数据源的配置。本实践以Hologres作为来源...
AnalyticDB for MySQL3.0整库周期性增全量同步至...
本文以AnalyticDB for MySQL3.0离线同步写入Hologres场景为例，为您介绍如何把AnalyticDB for MySQL3.0整个数据库的数据离线同步到Hologres。使用限制 本实践仅支持使用独享数据集成资源组。前提条件 已完成来源数据源、去向数据源的配置。...
同步 OceanBase 数据库 MySQL 租户的数据至 Analytic...
同步有非空唯一键索引的无主键表时，使用第一个非空唯一索引作为主键，删除其他所有索引。不支持同步无非空唯一键索引的无主键表。当源端/目标端中存在 TIMESTAMP 时间类型，且该时间处于夏令时的规定时间范围时，因为源端/目标端对时间...
配置匹配规则
本文为您介绍迁移/同步对象匹配规则的背景信息、使用限制、配置方式，以及场景示例和常见问题。背景信息 您在创建数据迁移或数据同步项目时，需要指定具体的迁移或同步的对象。数据传输提供指定对象、导入对象和匹配规则三种方式供您选择。...
同账号同步实例
公有云Region不支持同步至非公有云Region（金融云、政务云等）。同账号自动同步实例 通过配置同步规则，在源实例上传镜像时，自动触发将该镜像同步到同账号的目标实例中。重要 同账号自动同步实例只会同步设定同步规则后上传的符合规则的...
- 产品推荐
- 这些文档可能帮助您