从RDS同步至自建Kafka集群
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
实时同步常见问题
写端延迟大 目标数据库性能、负载等问题 当数据库负载较高时，单一的调整同步任务并发并不能解决问题，您需要联系数据库管理员寻求相关帮助。读写端延迟大 使用公网同步，网络问题导致同步任务延迟。公网同步无法保障实时同步时效性，建议...
同步方案概览
源为数据管理DMS逻辑库的同步方案 说明 下表中各类自建数据库（例如自建MySQL、Redis等）支持的接入方式如下：ECS自建数据库 专线/VPN网关/智能网关 数据库网关DG（无公网IP:Port的数据库）由于公网质量等因素，此接入方式可能会导致任务不...
同步方案选取指南
当您在使用关系型数据库（RDS）遇到查询慢的问题时，可将RDS中的数据同步至阿里云Elasticsearch进行查询分析。阿里云Elasticsearch是一个基于Lucene的实时分布式的搜索与分析引擎，可近乎于准实时地存储、查询和分析超大数据集。您可以通过...
通过DTS实现数据库的垂直拆分
当RDS实例负载过大时，可以将该实例的一个数据库或表垂直拆分至另外一个单独的实例中。本文介绍如何通过双写方案和简易拆分方案实现垂直拆分。背景信息 假设一个RDS实例上有数据库A和B，随着业务增长实例瓶颈也日趋可见，如想要减轻该实例...
从自建Db2迁移至RDS MySQL
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将自建的Db2数据库迁移至RDS MySQL。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在自建应用不停服的情况下，平滑地完成Db2数据库的...
创建云ClickHouse分析实例
RDS MySQL可以基于云数据库ClickHouse平台创建云ClickHouse分析实例，本文介绍如何创建和管理云ClickHouse分析实例。背景信息 云ClickHouse分析实例会自动通过MaterializedMySQL引擎将RDS MySQL实例中的数据同步到 云数据库ClickHouse 中，...
使用DTS迁移分片集群架构的自建MongoDB数据库上云
等待所有Shard节点的迁移任务的进度变更为 增量迁移，并显示为 无延迟 状态时，将源库停写几分钟，此时 增量迁移 的状态可能会显示延迟的时间。等待所有Shard节点迁移任务的 增量迁移 再次进入 无延迟 状态后，手动结束迁移任务。将业务...
数据同步方案概览
云原生关系型数据库PolarDB 提供了多种数据同步方案，可满足不同的业务同步需求，使您可以在不影响业务的情况下平滑的实现引擎间的数据同步。通过使用阿里云 数据传输服务（DTS），您可以实现 PolarDB 的实时同步。数据同步 使用场景 文档...
跨阿里云账号迁移MongoDB实例
观察迁移任务的进度变更为 增量迁移，并显示为 无延迟 状态时，将源库停写几分钟，此时 增量迁移 的状态可能会显示延迟的时间。等待迁移任务的 增量迁移 再次进入 无延迟 状态，手动结束迁移任务。将业务切换至目标MongoDB实例。后续操作 ...
迁移MongoDB实例至其他地域
观察迁移任务的进度变更为 增量迁移，并显示为 无延迟 状态时，将源库停写几分钟，此时 增量迁移 的状态可能会显示延迟的时间。等待迁移任务的 增量迁移 再次进入 无延迟 状态，手动结束迁移任务。将业务切换至目标MongoDB实例。后续操作 ...
业务切换流程
Redis CLIENT LIST MongoDB use admin db.runCommand({currentOp:1,$all:[{"active":true}]})说明 上述语句查询到的进程或会话信息中，包含DTS连接源数据库的进程或会话。等待迁移任务的 增量迁移 再次进入 无延迟 状态，保持1分钟或以上，...
业务切换流程
Redis CLIENT LIST MongoDB use admin db.runCommand({currentOp:1,$all:[{"active":true}]})说明 上述语句查询到的进程或会话信息中，包含DTS连接源数据库的进程或会话。等待迁移任务的 增量迁移 再次进入 无延迟 状态，保持1分钟或以上，...
配置并管理实时同步任务
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，同步数据至DataHub。本文为您介绍如何创建数据实时同步任务，并在创建完成后查看任务运行情况。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步...
修改告警
数据传输支持修改已启动告警监控功能的数据迁移和数据同步项目的告警监控设置。本文以数据迁移项目为例，为您介绍如何修改告警监控。操作步骤 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据迁移。如果您需要设置数据同步...
跨阿里云账号迁移MongoDB实例
观察迁移任务的进度变更为 增量迁移，并显示为 无延迟 状态时，将源库停写几分钟，此时 增量迁移 的状态可能会显示延迟的时间。等待迁移任务的 增量迁移 再次进入 无延迟 状态，手动结束迁移任务。将业务切换至目标MongoDB实例。后续操作 ...
应用场景
场景一：业务实时搜索 当业务需要对海量数据进行多维度、实时的搜索时，关系型数据库显然力不从心。一个非常典型的例子就是对产品或者商品进行多维度搜索。此时，业务需要借助云搜 Zsearch（对标 Elaticsearch 的蚂蚁金服金融科技发布的...
从自建Oracle同步至DataHub
DataHub实例中，已创建用作接收同步数据的项目（Project），请参见 创建项目。注意事项 类型 说明 源库限制 同步对象要求：待同步的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如果您的自建...
全增量实时同步至Hologres
如上图所示，使用 源端数据库名 将源端数据库名作为目标schema名称，并且将所有满足 order_db.*正则表达式的源库写入目标Hologres名为 order_db 的schema中。自定义目标表名映射规则 在 目标表名映射自定义 列，单击 编辑 按钮。可以使用...
设置告警
数据传输支持对数据迁移和数据同步项目进行监控项的配置。项目创建完成后，您可以对单个项目设置告警监控，也可以选择多个项目进行批量操作。本文以数据迁移项目为例，为您介绍如何设置告警监控。背景信息 告警监控功能是数据传输重要的运...
通过联邦分析同步数据
重要 不支持同步无主键的表，无主键的表会被自动过滤。AnalyticDB MySQL 每个集群最多可创建2048个数据库。更多信息，请参见 使用限制。大表分区键设置 为了提高数据的写入和查询性能，建议您设置分区键。如何设置分区键，请参见 表结构...
准备用于数据同步的数据库账号
无 双向同步任务对账号权限的要求 双向同步任务要求源和目标数据库具备如下权限，以允许DTS在源和目标数据库中创建库dts，用于做数据防循环复制。数据库 所需权限 创建及授权方式 RDS MySQL 高权限账号。创建数据库和账号。自建MySQL 待...
查询子实例间的同步延迟
云数据库 Redis 版 全球多活功能具备高性能和低延迟的特性。在使用过程中，您可以随时查询子实例的同步状态、同步延迟和同步数量，掌握同步链路的实时情况。前提条件 Redis 全球多活实例中至少包含2个子实例。关于如何添加子实例，请参见 ...
通过联邦分析功能同步至湖仓版
重要 不支持同步无主键的表，无主键的表会被自动过滤。AnalyticDB MySQL 每个集群最多可创建2048个数据库。更多信息，请参见 使用限制。大表分区键设置 为了提高数据的写入和查询性能，建议您设置分区键。如何设置分区键，请参见 表结构...
平滑扩容
数据校验 增量达到准实时同步后，系统自动做全数据校验，并且订正因为同步延迟造成的不一致数据。应用停写和路由切换 校验完成后，并且增量依然维持准实时同步，业务选定时间进行切换，为确保数据严格一致，建议应用停服（也可以不停，但...
主备方案介绍
云数据库HBase存储海量大数据，在业务场景中往往承载着重要数据，为保障数据的高可用性和安全性，云数据库HBase提供了主备双活和主备容灾特性。本文介绍云数据库HBase的主备双活和主备容灾特性功能。使用场景 主备双活：大数据量随机读响应...
创建 RDS 实例用户及授权
登录 云数据库 RDS 管理控制台。在 实例列表 页面的左上角，选择目标实例所在地域...DDL）仅 DML（仅同步 DML）读写（同步 DDL+DML）无主键表、无非空唯一键表 目标端为 RDS MySQL 实例时，数据传输不支持迁移或同步无主键表、非空唯一键表。
从自建Oracle迁移至云原生数据仓库AnalyticDB ...
前提条件 自建Oracle数据库的版本为9i、10g、11g、12c、18c或19c版本。自建Oracle数据库已开启归档模式（ARCHIVELOG），设置合理的归档日志保持周期且归档日志能够被访问，详情请参见 ARCHIVELOG。自建Oracle数据库已开启Supplemental ...
下载和导入同步对象配置
重要 数据库至数据库的数据同步项目中，仅选择 指定对象 方式时，支持导入对象。导入对象配置 数据传输支持通过导入 CSV 文件的方式进行设置行过滤条件、设置过滤列和设置分片列等操作。您可以下载已有项目的对象配置信息或 CSV 文件模板，...
配置监控告警
实例类型 监控项 说明 数据同步 同步延迟 全量告警 同步状态 同步延迟 和 同步状态 监控项默认处于 已禁用 状态，全量告警 监控项默认处于 已启用 状态。数据迁移 增量迁移延迟 全量告警 迁移状态 增量迁移延迟 和 迁移状态 监控项默认处于...
RDS实例间数据迁移
DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，甚至导致数据...
技术原理
PolarDB-X 1.0 控制台上创建 PolarDB-X 1.0 数据库时，在选定一个数据库实例的情况下，可以选择将底层数据库实例下的一个逻辑数据库直接引入 PolarDB-X 1.0 做读写分离，不需要做数据迁移。分布式事务 分布式事务通常使用二阶段提交来保证...
查看同步链路状态和性能
DTS可以展示全量同步性能、显示并诊断 增量同步性能，使您可以了解数据同步作业的链路状态信息和多种性能指标，为您管理数据同步作业提供参考依据。操作步骤 登录 数据传输控制台。说明 若数据传输控制台自动跳转至数据管理DMS控制台，您...
使用DataWorks（离线与实时）
最佳实践 数据库整库离线同步至MaxCompute 整库离线同步至MaxCompute OSS数据离线同步至MaxCompute EMR Hive数据整库离线同步至MaxCompute 数据库增量数据离线同步至MaxCompute RDS增量数据同步至MaxCompute Kafka增量数据同步至MaxCompute...
如何迁移到DBFS？
一般存在以下几种常用的方式：主备同步：搭建主备库，通过binary log同步数据到自建于DBFS上的数据库。DTS：使用阿里云产品DTS，将数据迁移到自建于DBFS上的数据库。备份恢复：通过备份的方式，将数据库恢复到DBFS上，拉起数据库，同步最新...
配置匹配规则
数据同步项目中，仅 OceanBase 数据库 MySQL 租户至 AnalyticDB MySQL、RDS PostgreSQL 实例至 OceanBase 数据库 Oracle 租户 和 OceanBase 数据库 MySQL 租户之间的数据同步 支持通过配置通配规则的方式选择同步对象。在 选择迁移对象 ...
支持的数据库
增量数据同步 单向同步 RDS MySQL同步至函数计算FC 云数据库SelectDB版 库表结构同步 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至云数据库SelectDB版 源为PolarDB MySQL版的同步方案 重要 PolarDB-X 1.0中的数据库须基于RDS MySQL...
创建 PolarDB 实例用户及授权
登录 云数据库 PolarDB 管理控制台。在左侧导航栏，单击 集群列表。...DDL）仅 DML（仅同步 DML）读写（同步 DDL+DML）无主键表、无非空唯一键表 目标端为 PolarDB MySQL 实例时，数据传输不支持迁移或同步无主键表、非空唯一键表。
数据同步拓扑介绍
Tair/Redis Tair/Redis MongoDB MongoDB 目前DTS仅支持两个数据库之间的双向同步，暂不支持多个数据库之间的双向同步。说明 关于双向同步的配置案例请参见 MySQL实例间的双向同步。您可以将现有的单向同步升级为双向同步，详情请参见 单向...
PolarDB数据源配置
云数据库PolarDB是阿里云对外提供的一种即开即用、稳定可靠、可弹性伸缩的在线数据库服务（了解PolarDB）。购买 PolarDB 前须知 OpenSearch目前支持PolarDB for mysql5.6、5.7、8.0。PolarDB集群必须隶属于当前登录阿里云账号才能访问使用...
- 产品推荐
- 这些文档可能帮助您