跨云账号单向同步云数据库Redis实例
支持同步的SQL操作 版本类型 SQL操作 云数据库Redis社区版 APPEND BITOP、BLPOP、BRPOP、BRPOPLPUSH DECR、DECRBY、DEL EVAL、EVALSHA、EXEC、EXPIRE、EXPIREAT GEOADD、GETSET HDEL、HINCRBY、HINCRBYFLOAT、HMSET、HSET、HSETNX INCR、...
跨云账号单向同步云数据库Redis实例
支持同步的SQL操作 版本类型 SQL操作 云数据库Redis社区版 APPEND BITOP、BLPOP、BRPOP、BRPOPLPUSH DECR、DECRBY、DEL EVAL、EVALSHA、EXEC、EXPIRE、EXPIREAT GEOADD、GETSET HDEL、HINCRBY、HINCRBYFLOAT、HMSET、HSET、HSETNX INCR、...
从ECS上的自建Redis同步至云数据库Redis实例
数据传输服务DTS（Data Transmission Service）支持Redis数据库的单向同步，适用于异地多活、数据异地容灾等多种应用场景。本文以ECS上的自建Redis同步至Redis实例为例，介绍数据同步作业的配置流程。警告 完成数据同步作业的配置后，请勿...
云数据库Redis间的单向同步
数据传输服务DTS（Data Transmission Service）支持Redis数据库的单向同步，适用于异地多活、数据异地容灾等多种应用场景。本文以Redis实例间的单向数据同步为例，介绍数据同步作业的配置流程。前提条件 已创建目标Redis实例，创建方式，请...
使用云数据库Redis版实现即时通信场景中的多端同步
本文为您介绍一种使用云数据库Redis版在IM场景中实现多端同步的方案。消息存储模型 通常，IM系统的核心架构分为三个部分：消息管理模块、消息同步模块、通知模块。这三个模块的作用如下：消息管理模块主要负责接收和存储消息。消息同步模块...
应用场景
云上云下数据库同步 通过数据库传输服务DTS的数据同步功能，可以使本地IDC或其他云厂商的数据库与阿里云数据库内容进行同步，详情请参见 数据同步的工作原理，架构图如下所示。本地IDC/跨云数据库备份上云 数据库备份 DBS 是阿里云提供的低...
数据迁移和同步方案概览
同步场景 同步工具 文档链接 实例间同步 DTS 云数据库MongoDB版（副本集架构）同步至云数据库MongoDB版（副本集架构或分片集群架构）云数据库MongoDB版（分片集群架构）间的双向同步 同步至新实例 不涉及 创建云上灾备实例 说明 更多信息，...
RDS搭配异构数据库实现数据多样化存储
RDS可以搭配云数据库Redis、云数据库Memcache和对象存储OSS等产品使用，实现多样化存储扩展。缓存数据持久化 RDS可以搭配云数据库缓存产品（Redis和Memcache），组成高吞吐、低延迟的存储解决方案。相对于RDS，云数据库缓存产品有两个特性...
数据上云场景
数据库数据同步 数据库的数据同步到MaxCompute需要根据数据库的类型和同步策略来选择相应的工具。离线批量的数据库数据同步：可以选择DataWorks，支持的数据库种类丰富，包括MySQL、SQL Server、PostgreSQL等，详情请参见 通过向导模式配置...
原理架构
系统架构 数据同步服务的逻辑架构图：全量同步：负责将表数据从源端数据库同步到目的端数据库，支持异构数据库间同步。增量同步：负责将源端的增量数据同步到目的端，主要包含 Store 和 JDBCWriter 两个组件。存储：采集源端 DB 的变更到...
限制说明
数据可靠性 云数据库 Memcache 版的数据存储在内存中，服务并不保证缓存数据不会丢失，有强一致性要求的数据不适合存储。数据大小 云数据库 Memcache 版支持的单条缓存数据的 Key 最大不超过 1 KB，Value 最大不超过 1 MB，过大的数据不...
从ECS上的自建MySQL同步至PolarDB MySQL版
说明 如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等）或ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单或ECS的安全规则中，您无需手动添加，请参见 DTS服务器的IP...
概述
您可以根据业务需求使用DataX、DTS或者canal工具将MySQL数据库中的数据同步迁移到表格存储（Tablestore）中。使用场景 数据架构变化 随着业务的变化，如果现有业务对数据库并发读写需求、扩展性和可用性需求较高，或需要复杂的检索，原有...
从ECS上的自建MySQL同步至PolarDB MySQL版
PolarDB是阿里巴巴自主研发的下一代关系型分布式云原生数据库，可完全兼容MySQL，具备简单易用、高性能、高可靠、高可用等优势。通过数据传输服务DTS（Data Transmission Service），您可以将自建的MySQL数据库同步至 PolarDB MySQL版，...
从通过专线、VPN网关或智能接入...同步至PolarDB MySQL版
说明 如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等）或ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单或ECS的安全规则中，您无需手动添加，请参见 DTS服务器的IP...
从通过专线、VPN网关或智能接入...同步至PolarDB MySQL版
PolarDB是阿里巴巴自主研发的下一代关系型分布式云原生数据库，可完全兼容MySQL，具备简单易用、高性能、高可靠、高可用等优势。通过数据传输服务DTS（Data Transmission Service），您可以将自建的MySQL数据库同步至 PolarDB MySQL版，...
Db2 for LUW同步至PolarDB-X 2.0
数据传输服务DTS（Data Transmission Service）支持将 Db2 for LUW 数据库同步至 PolarDB分布式版。前提条件 已创建源 Db2 for LUW 数据库和目标 PolarDB分布式版 实例，支持的版本，请参见 同步方案概览。说明 PolarDB分布式版 需兼容...
实时同步数据库的数据至Hologres
常见的支持实时数据同步的数据库包括：Oracle、Polar DB、PolarDB MySQL等。说明 如需查看更多支持的数据库，请参见 支持的数据源及同步方案。相关原理：MySQL Reader、Oracle数据源、PolarDB Reader、SQL Server Reader、Hologres数据源。...
从RDS SQL Server同步至云原生数据仓库AnalyticDB ...
如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等），DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单中；如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添...
数据集成概述
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
缓存数据持久化
当您使用云数据库RDS MySQL并需要提升数据处理速率和降低访问延迟时，阿里云为您提供了缓存数据持久化的高效方案，该解决方案通过整合云数据库Redis与RDS、云数据库Memcache与RDS协同工作，确保数据的高速访问和持久化存储，具备高吞吐、低...
从自建TiDB同步至云原生数据仓库AnalyticDB MySQL
本文介绍如何使用数据传输服务DTS（Data Transmission Service），结合Kafka集群与TiDB数据库的Pump、Drainer组件，将自建TiDB数据库同步至 云原生数据仓库AnalyticDB MySQL。前提条件 已创建 云原生数据仓库AnalyticDB MySQL 3.0版本，...
配置跨库Spark SQL节点
name，trade_date,COUNT(*)cnt,SUM(amt)amt FROM mysql_db.sales t1 JOIN oracle_db.users t2 ON t1.emp_id=t2.id WHERE t1.trade_date=${bizdate} GROUP BY t2.dept_name 功能特性 跨库数据处理：支持使用SQL语句操作不同数据库中的数据，...
API概览
本产品（云数据库 ClickHouse 版/2019-11-11）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足...
从RDS SQL Server同步至云原生数据仓库AnalyticDB ...
如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等），DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单中；如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添...
2020年
通过数据库网关将本地IDC或第三方云的数据库接入至阿里云 支持阿里云Redis企业版实例间的单向或双向数据同步，支持的架构类型包括标准版、读写分离版和集群版，可应用于异地多活、数据容灾、业务多地部署等场景。Redis企业版实例间的双向...
从RDS同步至自建Kafka集群
如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等），DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单中；如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添...
从PolarDB MySQL版同步到Kafka
说明 如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等）或ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单或ECS的安全规则中，您无需手动添加，请参见 DTS服务器的IP...
从PolarDB MySQL版同步到Kafka
如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等），DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单中；如果源或目标数据库是ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添...
自建MySQL同步至RDS MySQL
TRUNCATE TABLE 数据库账号的权限要求 数据库 库表结构同步 全量同步 增量同步 自建MySQL数据库 SELECT权限 SELECT权限 待同步对象的SELECT权限 REPLICATION CLIENT、REPLICATION SLAVE、SHOW VIEW 建库建表的权限，以允许DTS创建库dts，...
专线、VPN网关或智能网关接入的自建MySQL同步至RDS ...
TRUNCATE TABLE 数据库账号的权限要求 数据库 库表结构同步 全量同步 增量同步 自建MySQL数据库 SELECT权限 SELECT权限 待同步对象的SELECT权限 REPLICATION CLIENT、REPLICATION SLAVE、SHOW VIEW 建库建表的权限，以允许DTS创建库dts，...
RDS MySQL同步至ClickHouse集群
云数据库ClickHouse是面向联机分析处理的列式数据库，基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级，通过数据传输服务DTS（Data Transmission Service），您可以将MySQL数据库（例如自建MySQL或RDS MySQL）...
同步时源库为MySQL的注意事项及限制
云原生数据仓库AnalyticDB MySQL 2.0 云原生数据仓库AnalyticDB MySQL 3.0 云原生数据仓库AnalyticDB PostgreSQL Elasticsearch Tablestore PolarDB-X 2.0 Oracle PostgreSQL MySQL间的同步 MySQL同步至PolarDB MySQL版 MySQL同步至云原生...
用户权限说明
数据传输迁移数据库前，请确保所有数据源已创建一个数据库用户作为迁移用户或同步用户。该用户需要具备源端和目标端数据源对应的权限。OceanBase 数据库 MySQL 租户作为源端的权限说明 OceanBase 数据库 MySQL 租户作为源端时，迁移/同步...
数据集成
再配合运维中心的补数据功能，可实现基于一套完整的任务配置，批量将历史数据同步至目标数据库或数据仓库指定表或指定分区。数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列...
空库初始化
数据管理DMS 的空库初始化功能支持将源数据库的表结构同步至空数据库中（数据库中不存在任何表），实现快速同步数据库表结构，适用部署多区域、多单元的数据库环境。前提条件 支持的数据库类型如下：MySQL：RDS MySQL、PolarDB MySQL版、...
PolarDB MySQL版同步至ClickHouse集群
云数据库ClickHouse的时间类型数据存在范围限制，若 PolarDB MySQL版 中的时间不在该范围内，会导致同步到云数据库ClickHouse的时间不正确。范围限制，请参见 时间信息。分区键 不可以选择为可空的字段，否则同步任务将会失败。待同步数据...
数据集成侧同步任务能力说明
功能概述 全增量同步任务支持的能力如下图所示：功能 描述 复杂网络环境下的数据同步 支持云数据库、本地IDC、ECS自建数据库或非阿里云数据库等环境下的数据同步。您可以根据数据库所在网络环境，选择合适的全增量同步任务来实现数据源与...
RDS MySQL同步至ClickHouse集群
云数据库ClickHouse是面向联机分析处理的列式数据库，基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级，通过数据传输服务DTS（Data Transmission Service），您可以将MySQL数据库（例如自建MySQL或RDS MySQL）...
- 产品推荐
- 这些文档可能帮助您