整库离线同步至MaxCompute
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
一键实时同步至DataHub
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
整库离线同步至MaxCompute
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源与读写能力。说明 数据...
通过客户端、命令行连接MyBase MySQL实例
前提条件 已完成以下操作：创建MyBase MySQL实例 设置白名单 创建数据库账号 通过客户端连接MyBase MySQL实例 可以使用任何通用的MySQL客户端连接到MyBase MySQL，本文以MySQL Workbench为例。下载MySQL Workbench客户端地址，请参见 MySQL...
一键实时同步至Elasticsearch
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
一键实时同步至Kafka
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
创建DTS任务迁移数据库实例
如果您在创建迁移计划时，迁移计划模板 选择了“AWS迁移”，您的服务器和数据库迁移任务将分别通过SMC工具和DTS工具完成。本文为您介绍如何创建DTS迁移数据库实例。建立DTS同步 在云迁移中心页面，依次点击 迁移->迁移工具，查看迁移工具...
物流行业：PolarDB分布式版助力韵达“客户管家”全面...
海量数据怎么存 按监管要求，我们需要保存数年的数据，面临日增千万的数据量，在任何一个数据库哪怕是分布式数据库内，也是一个极大的挑战，即便我们的DBA可以定期地人肉备份，清理。绝大部分数据库也不能及时地回收空间，需要DBA额外的...
整库离线同步至OSS
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步解决方案支持的数据源及其配置详情请参见 支持的数据源与读写能力。说明 ...
使用数据传输同步数据
本文以同步 OceanBase 数据库的数据至 Kafka 为例，介绍如何使用数据传输同步数据。前提条件 在同步数据之前，您需要确认以下信息：数据传输已具备云资源访问权限。详情请参见 数据传输迁移角色授权。已为源端 OceanBase 数据库创建专用于...
整库离线同步至Elasticsearch
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
MySQL分库分表实践
背景信息 实际业务场景下数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。尤其是在MySQL分库分表的场景下，上游的...
T+1多库合并建仓
背景信息 在数据库应用中，当单个关系型数据库RDS（Relational Database Service）的数据量越来越多时，相应的数据查询时间也会延长，影响用户体验。为保证业务可以继续使用RDS数据库，业务端通常会采用分库分表技术，将一个RDS数据库中的...
同步 OceanBase 数据库 MySQL 租户的数据至 Analytic...
本文为您介绍如何同步 OceanBase 数据库 MySQL 租户的数据至云原生数据仓库 AnalyticDB MySQL 版。背景信息 AnalyticDB MySQL 版的基本介绍请参见 基础数据类型。AnalyticDB MySQL 版的建表、分区表和分布表的详情请参见 CREATE TABLE。...
迁移数据库账号
注意事项 当前仅MySQL实例间的同步或迁移、MySQL实例同步或迁移到 PolarDB MySQL版 集群、PolarDB MySQL版 集群间的同步或迁移实例，支持将源库的账号迁移至目标库。说明 MySQL实例含RDS MySQL和自建MySQL。目标RDS MySQL实例为5.6版本时，...
采集数据
说明 在数据集成同步任务配置前，您可以在DataWorks的 数据源 页面，配置好您需要同步的源端和目标端数据库或数据仓库的相关信息，以便在同步任务配置过程中，可通过选择数据源名称来控制同步读取和写入的数据库或数据仓库。本教程提供数据...
采集数据
说明 在数据集成同步任务配置前，您可以在DataWorks的 数据源 页面，配置好您需要同步的源端和目标端数据库或数据仓库的相关信息，以便在同步任务配置过程中，可通过选择数据源名称来控制同步读取和写入的数据库或数据仓库。本教程提供数据...
离线同步常见问题
读取MySQL数据库报错：The last packet successfully received from the server was 902,138 milliseconds ago 离线同步至MySQL报错：[DBUtilErrorCode-05]ErrorMessage:Code:[DBUtilErrorCode-05]Description:[往您配置的写入表中写入数据...
DeleteSyndb-删除同步任务
删除同步db。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 DbClusterId ...
Oracle数据源
说明 数据库容器CDB（Container Database）是Oracle 12c及之后版本的数据库新特性，用于承载多个可插拔数据库PDB（Pluggable Database）。使用限制 当前数据集成同步数据时，仅支持UTF8、AL32UTF8、AL16UTF16及ZHS16GBK编码格式。Oracle单...
概述
您可以根据业务需求使用DataX、DTS或者canal工具将MySQL数据库中的数据同步迁移到表格存储（Tablestore）中。使用场景 数据架构变化 随着业务的变化，如果现有业务对数据库并发读写需求、扩展性和可用性需求较高，或需要复杂的检索，原有...
数据同步流程
您已为源端和目标端创建专用于数据同步的数据库用户，并赋予其相关权限。详情请参见 创建数据库用户。新建数据源。在 数据传输>管理数据源 页面，分别新建源端和目标端的数据源。详情请参见 新建数据源 模块的文档。购买数据同步项目。根据...
数据迁移与同步FAQ
对比项 DTS数据迁移 DTS数据同步 适用场景 主要用于迁移数据上云，例如将本地数据库、ECS上的自建数据库或第三方云数据库迁移至阿里云Redis实例。主要用于两个Redis数据库之间的数据实时同步，例如从实例A同步至实例B。可用于异地多活、...
如何迁移到DBFS？
本文档主要为您说明在使用阿里云数据库存储DBFS时，如何方便的将数据库迁移到DBFS上。一般存在以下几种常用的方式：主备同步：搭建主备库，通过binary log同步数据到自建于DBFS上的数据库。DTS：使用阿里云产品DTS，将数据迁移到自建于DBFS...
创建SMC迁移任务
如果您在创建迁移计划时，迁移计划模板 选择了“AWS迁移”，您的服务器和数据库迁移任务将分别通过SMC工具和DTS工具完成。本文为您介绍如何从进度大盘创建SMC迁移任务。建立SMC同步 在云迁移中心页面，依次点击 迁移->迁移工具，查看迁移...
离线同步写入MongoDB数据
本实践使用阿里云云数据库MongoDB作为示例，创建一个名称为 test_write_mongo 的数据集合。db.createCollection('test_write_mongo')离线任务配置 step1：添加MongoDB数据源 添加一个MongoDB数据源，保障数据源与独享数据集成资源组之间...
数据上云场景
数据库数据同步 数据库的数据同步到MaxCompute需要根据数据库的类型和同步策略来选择相应的工具。离线批量的数据库数据同步：可以选择DataWorks，支持的数据库种类丰富，包括MySQL、SQL Server、PostgreSQL等，详情请参见 通过向导模式配置...
RDS PostgreSQL同步至AnalyticDB for PostgreSQL
注意事项 一个数据同步作业只能同步一个数据库，如果有多个数据库需要同步，则需要为每个数据库创建数据同步作业。在数据同步的过程中，如果要将源库中创建的新表作为同步对象，您需要对该表执行如下操作以保障该表数据同步的一致性。ALTER...
实时同步能力说明
DataWorks为您提供的实时数据同步功能，方便您使用单表或整库同步方式，将源端数据库中部分或全部表的数据变化实时同步至目标数据库中，实现目标库实时保持和源库的数据对应。使用限制 实时同步不支持在数据开发界面运行任务，您需要保存、...
同步时源库为Db2 for LUW的注意事项及限制
Db2 for LUW同步至PolarDB-X 2.0 说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等操作不会同步到目标数据库。类型 说明 源库限制 带宽要求：源库所属的服务器需具备足够出口带宽，否则将影响数据同步速率。待...
从ECS上的自建Redis同步至Redis实例
数据传输服务DTS（Data Transmission Service）支持Redis数据库的单向同步，适用于异地多活、数据异地容灾等多种应用场景。本文以ECS上的自建Redis同步至Redis实例为例，介绍数据同步作业的配置流程。警告 完成数据同步作业的配置后，请勿...
产品架构
数据实时同步：DTS同步正在进行的数据变更，并保持源数据库和目标数据库的同步。为了同步正在进行的数据变更，DTS使用两个处理事务日志的模块：事务日志读取模块：日志读取模块从源实例读取原始数据，经过解析、过滤及标准格式化，最终将...
下载和导入同步对象配置
重要 数据库至数据库的数据同步项目中，仅选择 指定对象 方式时，支持导入对象。导入对象配置 数据传输支持通过导入 CSV 文件的方式进行设置行过滤条件、设置过滤列和设置分片列等操作。您可以下载已有项目的对象配置信息或 CSV 文件模板，...
同步方案选取指南
当您在使用关系型数据库（RDS）遇到查询慢的问题时，可将RDS中的数据同步至阿里云Elasticsearch进行查询分析。阿里云Elasticsearch是一个基于Lucene的实时分布式的搜索与分析引擎，可近乎于准实时地存储、查询和分析超大数据集。您可以通过...
从PolarDB PostgreSQL版（兼容Oracle）集群同步至自建...
一个数据同步作业只能同步一个数据库，如有多个数据库需要同步，您需要为每个数据库配置数据同步作业。为保障同步延迟时间展示的准确性，DTS会在源库中新增一个表，表名为 dts_postgres_heartbeat，结构及内容如下图所示。若源库有长事务，...
从ECS上的自建Redis同步至Redis实例
数据传输服务DTS（Data Transmission Service）支持Redis数据库的单向同步，适用于异地多活、数据异地容灾等多种应用场景。本文以ECS上的自建Redis同步至Redis实例为例，介绍数据同步作业的配置流程。警告 完成数据同步作业的配置后，请勿...
离线同步读取MongoDB数据
本实践使用阿里云云数据库MongoDB作为示例。以下为准备MongoDB数据集合的主要代码示例。创建一个名称为 di_mongodb_conf_test 的数据集合。db.createCollection('di_mongodb_conf_test')向数据集合中插入本实践的示例数据。db.di_mongodb_...
从自建Redis集群同步至Redis集群实例
说明 如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等）或ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单或ECS的安全规则中，您无需手动添加，请参见 DTS服务器的IP...
数据同步方案概览
源为自建SQL Server或RDS SQL Server的同步方案 源为自建MongoDB或云数据库MongoDB的同步方案 源为自建Redis或云数据库Tair/Redis的同步方案 源为MariaDB的同步方案 源为Db2 for LUW的同步方案 源为Db2 for i（AS/400）的同步方案 源为数据...
更改 Topic
适用场景 创建数据库至消息队列的数据同步项目时，数据传输支持您在选择需要同步的 Topic 类型后，通过 更改 Topic 功能重新选择 Topic 名称。操作步骤 将数据同步项目配置至 选择同步对象 步骤。详情请参见相应类型的 数据同步 项目文档。...
- 产品推荐
- 这些文档可能帮助您