同步时源库为Redis的注意事项及限制
源库为Redis的同步方案概览 根据如下同步方案，查看同步任务的注意事项及限制：Redis间的双向同步 Redis间的单向同步 Redis间的双向同步 类型 说明 源库限制 为保障同步质量，DTS会在源库中插入一个前缀为DTS_REDIS_TIMESTAMP_HEARTBEAT的...
PolarDB MySQL版间的同步
支持的同步架构 一对一单向同步 一对多单向同步 级联单向同步 级联双向同步 多对一单向同步 一对一双向同步 关于各类同步架构的介绍及注意事项，请参见 数据同步拓扑介绍。支持同步的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、...
RDS PostgreSQL间的双向同步
数据传输服务DTS（Data Transmission Service）支持两个PostgreSQL数据库之间（比如RDS PostgreSQL、自建PostgreSQL）的双向数据实时同步，RDS PostgreSQL 实例间的双向同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。...
MySQL实例间的双向同步
若DTS正向和反向同步任务均同步了某个表，且正向同步任务同步了该表的全量和增量数据，则反向同步任务只同步该表的增量数据。若目标库的DDL写入失败，DTS任务会继续运行，您需要在任务日志中查看执行失败的DDL。查看任务日志的方法，请参见...
PolarDB PostgreSQL版间的同步
若DTS正向和反向同步任务均同步了某个表，且正向同步任务同步了该表的全量和增量数据，则反向同步任务只同步该表的增量数据。同步期间，DTS会在源库中创建前缀为 dts_sync_的replication slot用于复制数据。通过该replication slot，DTS...
全增量同步任务常见问题
本文为您介绍全增量同步任务的常见问题及解决方案。文档概述 MySQL一键同步至Hologres中decimal（7，4）数据类型转换成了numeric（38，18），正常吗？一键实时同步至MaxCompute时,分表是否可以同步到同一张表里?一键实时全增量同步任务中，...
实时同步常见问题
本文为您介绍实时同步的相关问题。文档概述 问题分类 相关文档 实时同步任务配置须知 实时同步任务支持哪些数据源？为什么实时同步任务延迟较大？实时同步任务延迟解决方案 实时同步任务为什么不建议使用公网？实时同步字段格式问题 实时...
PolarDB PostgreSQL版间的迁移
若DTS正向和反向同步任务均同步了某张表，且正向同步任务同步了该表的全量和增量数据，则反向同步任务只同步该表的增量数据。同步期间，DTS会在源库中创建前缀为dts_sync_的replication slot用于复制数据。通过该replication slot，DTS可以...
同步 OceanBase 数据库的数据至 DataHub
本文为您介绍如何同步 OceanBase 数据库（MySQL 和 Oracle 租户）的数据至 DataHub。前提条件 数据传输已具备云资源访问权限。详情请参见 数据传输迁移角色授权。已为源端 OceanBase 数据库创建专用于数据同步项目的数据库用户，并为其赋予...
同步 OceanBase 数据库的数据至 Kafka
本文为您介绍如何使用数据传输同步 OceanBase 数据库的数据至 Kafka。背景信息 Kafka 是目前广泛应用的高性能分布式流计算平台，数据传输支持 OceanBase 数据库两种租户与自建 Kafka 数据源之间的数据实时同步，扩展消息处理能力，广泛应用...
CREATE TABLE AS（CTAS）语句
通过CTAS语句，在实时同步数据的同时，还能实时将上游表结构（Schema）的变更同步到下游表，提高您在目标存储中创建表和维护源表结构变更的效率。本文为您介绍CREATE TABLE AS（CTAS）的使用方法，并提供了多种使用场景下的示例。前提条件 ...
镜像同步加速
手动或自动在中国内地与海外地域、中国内地与中国香港之间互相同步镜像时，会存在镜像同步速度慢的问题。ACR提供了跨境同步加速 和自定义同步链路功能 来加快镜像跨境同步的速度。本文介绍如何使用跨境同步加速 和自定义同步链路 功能。...
实时同步任务延迟解决方案
确认造成延迟问题在同步任务的读端还是写端 如果是在DataStudio创建的实时同步任务，您需要在 运维中心>实时任务运维>实时同步任务 界面单击运行中的任务名称，弹出任务运行详情对话框。详情请参见 实时同步任务运行与管理。在任务运行详情...
创建云ClickHouse分析实例
查看同步库表 在 查看同步配置 列单击 查看同步库表，查看同步库表信息。修改同步任务 在 操作 列单击 修改同步任务。在 MySQL到ClickHouse分析实例数据同步配置 页面重新配置数据同步信息。具体请参见 配置数据同步信息。删除同步任务 在 ...
管理全局命名空间
方式一：在 从数据平面集群同步自动注入标签至ASM实例 时，自动编辑所属集群 从数据平面集群同步自动注入标签至ASM实例 时，所有从数据平面集群同步的命名空间、其所属集群都被标识为作为同步来源的数据平面集群。方式二：手动编辑全局命名...
为什么云存储网关与OSS上的文件不一致
基于消息通知的极速同步 针对常规反向同步的痛点问题，基于消息通知的极速同步采用 全量同步+增量更新 的结合的方案进行OSS与云存储网关元数据的同步，以 秒级快速同步OSS的变化。当配置好极速同步组后，您在详情页中可以看到当前全量同步...
钉邮绑定和通讯录同步
同步Excel上传同步完成后，后续同步以钉钉侧为准，即钉钉侧增删改部门会同步至邮箱侧，邮箱侧不会同步至钉钉侧（不论之前同步选的基准是哪一侧）。3）钉钉侧删除部门，如果邮箱侧对应部门下有账号，则邮箱部门不会同步删除。钉钉&邮箱账号...
从SLS同步
本文介绍如何使用日志投递功能从日志服务（SLS）同步数据到云数据库ClickHouse。注意事项 云数据库ClickHouse的企业版集群和在2021年12月份之后创建的社区兼容版集群不支持日志投递功能。云数据库ClickHouse目前不支持数组类型的数据。支持...
企业绑定-完成组织架构和成员同步
云效和钉钉集成，可以实现：组织架构和成员同步：简化成员手动管理成本，钉钉企业中的组织架构及成员，会自动同步到云效。钉钉消息通知：沟通与协作无缝连接、随时在线，任务进展、代码库操作、流水线通知等都会推送到钉钉。钉钉文档集成：...
离线同步常见问题
本文为您介绍离线同步的相关问题。文档概述 问题分类 相关文档 离线同步任务运维常见问题 为什么数据源测试连通性成功，但是离线同步任务执行失败？如何切换数据集成任务执行资源组？脏数据如何排查和定位？如何查看脏数据？如果离线同步...
管理跨地域同步
本文介绍如何查看主实例同步的资源、更新要同步的资源，以及添加、解绑副本实例。查看主实例同步的资源 登录 密钥管理服务控制台，在顶部菜单栏选择主实例的地域后，在左侧导航栏单击 安全运营>灾备管理>跨地域同步。选择目标主实例，单击 ...
RestAPI Reader最佳实践
测试运行 本实践使用了调度参数，因此完成离线同步任务的配置后，您可以在离线同步节点页面顶部单击 带参运行，根据界面提示填写测试的调度参数取值，进行离线同步任务测试。测试运行完成后，您可以在界面下方查看运行日程，检查调度参数...
添加或移除单元节点
同步的SQL操作 请右击 已选择对象 中的同步对象，在弹跳框中选择所需同步的SQL操作，支持的操作，请参见 支持同步的SQL。说明 说明 全球多活数据库集群创建完成后，如需修改同步对象，请前往全球多活数据库集群列表页，单击 更多>修改同步...
2022-05-16版本
在本次新版本中，在源库为分库分表的数据同步场景中，实时数据入湖入仓能力提供了更为强大便捷的分库合并同步功能，可以将上游多个分库下相同表名的数据合并同步到Hologres目标库对应表名的同一张表中；提供了全新的Kafka Catalog，您可以...
设置增量同步位点
使用限制 您在创建数据迁移或数据同步项目时，迁移/同步类型选择了 增量同步，并且未选择 全量迁移/全量同步，才会支持设置增量同步位点。设置增量同步位点时，仅支持选择当前时间或当前时间之前的时间点，并且不能晚于您设置的源端数据库...
MySQL整库周期性增全量同步至Hive
本文以MySQL为源端，Hive为目标端场景为例，为您介绍如何把MySQL整个数据库的数据离线同步到Hive。使用限制 本实践仅支持使用独享数据集成资源组。前提条件 已完成来源数据源、去向数据源的配置。本实践以MySQL作为来源数据源，以Hive作为...
MySQL整库周期性增全量同步至MaxCompute
本文以MySQL离线同步写入MaxCompute场景为例，为您介绍如何把MySQL整个数据库的数据离线同步到MaxCompute。使用限制 本实践仅支持使用独享数据集成资源组。前提条件 已完成来源数据源、去向数据源的配置。本实践以MySQL作为来源数据源，以...
现代IM系统中的消息系统—模型
本章节主要介绍表格存储（Tablestore）的Timeline模型基本功能以及核心组件，并且会通过IM消息系统场景，介绍如何基于Timeline实现IM场景下消息同步、存储和索引等基本功能。Timeline模型 Timeline模型以简单为设计目标，核心模块主要包括...
创建与释放全球多活数据库集群
如同步类型仅为增量同步，DTS要求数据库的本地Binlog日志保存24小时以上，如同步类型包含全量同步和增量同步，DTS要求数据库的本地Binlog日志至少保留7天以上（您可在全量同步完成后将Binlog保存时间设置为24小时以上），否则DTS可能因无法...
使用MaxCompute访问
本章节介绍如何使用DataWorks实现MaxCompute与文件引擎之间的双向数据同步。您可以将MaxCompute数据同步至文件引擎，也可以将文件引擎的数据同步至MaxCompute。说明 请确保Maxcompute、文件引擎、Dataworks在同一个地域（region）下。准备...
Hologres整库周期性增全量同步至MaxCompute
本文以Hologres离线同步写入MaxCompute场景为例，为您介绍如何把Hologres整个数据库的数据离线同步到MaxCompute。使用限制 本实践仅支持使用独享数据集成资源组。前提条件 已完成来源数据源、去向数据源的配置。本实践以Hologres作为来源...
AnalyticDB for MySQL3.0整库周期性增全量同步至...
本文以AnalyticDB for MySQL3.0离线同步写入Hologres场景为例，为您介绍如何把AnalyticDB for MySQL3.0整个数据库的数据离线同步到Hologres。使用限制 本实践仅支持使用独享数据集成资源组。前提条件 已完成来源数据源、去向数据源的配置。...
MySQL整库离线同步到OSS
本文示例以MySQL为源端，OSS为目标端，为您介绍如何将MySQL整个数据库的数据离线同步到OSS。使用限制 仅支持使用独享数据集成资源组。操作步骤 步骤一：创建同步任务。步骤二：配置同步任务。步骤三：运行并查看任务状态。前提条件 已购买...
同步时源库为PostgreSQL的注意事项及限制
源库为PostgreSQL的同步方案概览 根据同步方案，查看同步任务的注意事项及限制：说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等操作不会同步到如下目标数据库：RDS PostgreSQL 云原生数据仓库AnalyticDB ...
MySQL数据源
MySQL数据源为您提供读取和写入MySQL的双向通道，本文为您介绍DataWorks的MySQL数据同步的能力支持情况。支持的MySQL版本 离线读写：支持MySQL 5.5.x、MySQL 5.6.x、MySQL 5.7.x、MySQL 8.0.x，兼容 Amazon RDS for MySQL、Azure MySQL。离...
PolarDB MySQL版间的双向同步
双向同步实例包含正向和反向同步任务，在配置或重置双向同步实例时，若其中一个任务的目标对象是另一个任务待同步的对象：仅允许其中一个任务同步全量和增量数据，另一个任务仅支持同步增量数据。当前任务的源数据仅支持同步到当前任务的...
PolarDB MySQL版间的双向同步
数据传输服务DTS（Data Transmission Service）支持两个 PolarDB MySQL版 集群间的双向数据同步，适用于异地多活、异地容灾等多种应用场景。本文介绍双向数据同步的配置步骤。前提条件 已购买源和目标 PolarDB MySQL版 集群（简称PolarDB...
RDS PostgreSQL间的双向同步
数据传输服务DTS（Data Transmission Service）支持两个PostgreSQL数据库之间（比如RDS PostgreSQL、自建PostgreSQL）的双向数据实时同步，RDS PostgreSQL 实例间的双向同步，适用于异地多活（单元化）、数据异地容灾等多种应用场景。...
RDS PostgreSQL同步至RDS MySQL
支持的同步架构 一对一单向同步 一对多单向同步 级联单向同步 多对一单向同步 关于各类同步架构的介绍及注意事项，请参见 数据同步拓扑介绍。支持同步的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE 操作步骤 登录 新版DTS...
MySQL实例间的双向同步
双向同步实例包含正向和反向同步任务，在配置或重置双向同步实例时，若其中一个任务的目标对象是另一个任务待同步的对象：仅允许其中一个任务同步全量和增量数据，另一个任务仅支持同步增量数据。当前任务的源数据仅支持同步到当前任务的...
- 产品推荐
- 这些文档可能帮助您