通过DTS采集数据
注意 DataHub同步的是增量数据，您的数据库中必须插入、删除或更新一条或多条数据后，才会同步到DataHub中。本案例采用手动插入数据的方法，但在实际情况中，都是将用户的购买行为，通过程序的方式动态同步到数据库中的。进行数据抽样时，...
创建数据库用户
您在使用数据传输的数据迁移和数据同步功能前，请先在源端和目标端数据库中，为数据迁移或同步任务创建专用的数据库用户。OceanBase 数据源 创建 OceanBase 数据库用户 此处创建的 OceanBase 数据库用户，用于创建 实例类型 为 VPC 内自建...
从自建Redis集群同步至Redis集群实例
说明 如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等）或ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单或ECS的安全规则中，您无需手动添加，请参见 DTS服务器的IP...
使用DataWorks（离线与实时）
最佳实践 数据库整库离线同步至MaxCompute 整库离线同步至MaxCompute OSS数据离线同步至MaxCompute EMR Hive数据整库离线同步至MaxCompute 数据库增量数据离线同步至MaxCompute RDS增量数据同步至MaxCompute Kafka增量数据同步至MaxCompute...
同步时源库为PostgreSQL的注意事项及限制
源库为PostgreSQL的同步方案概览 根据同步方案，查看同步任务的注意事项及限制：说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等操作不会同步到如下目标数据库：RDS PostgreSQL 云原生数据仓库AnalyticDB ...
同步时源库为SQL Server的注意事项及限制
源库为SQL Server的同步方案概览 根据同步方案，查看同步任务的注意事项及限制：说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等操作不会同步到如下目标数据库：SQL Server MySQL（RDS MySQL、自建MySQL）...
方案概述
其他限制：类型 说明 其他限制 单个数据同步任务只能同步一个数据库，如需同步多个数据库，一键迁移会为每个数据库配置数据同步任务。同步期间，如果同步对象的选择粒度为Schema，在待同步的Schema中创建了新的表或使用 RENAME 命令重建了...
单向同步升级至双向同步
前提条件 数据同步任务的源和目标数据库实例为支持双向同步的数据库类型和版本。例如，源和目标数据库均为8.0版本的 MySQL。更多信息，请参见 同步方案概览。数据同步任务的同步拓扑为 单向同步。数据同步任务的状态为 运行中。费用说明 如...
数据集成侧同步任务能力说明
说明 以业务数据库数据同步到MaxCompute数据仓库为例，当有大量的数据存储在数据库系统里，需要将数据库中的全量及增量数据同步到MaxCompute进行数仓分析时，数据集成传统方式是通过全量同步或者依赖数据库表中的 modify_time 等字段进行...
离线同步能力说明
数据集成的离线同步功能为您提供数据读取（Reader）和写入插件（Writer），方便您通过定义来源与去向数据源，并结合DataWorks调度参数使用，将源端数据库中全量或增量数据的同步至目标数据库中。本文为您介绍离线同步的相关能力。使用限制 ...
源库存在触发器时如何配置同步作业
当您同步任务的对象为整库，且该数据库中包含了会更新库内某个表的触发器（Trigger）时，可能会导致源库和目标库的数据不一致。本文介绍源库存在触发器的情况下如何正确地配置同步作业，以确保数据的一致性和完整性。重要 若您使用的是新版...
平滑扩容
扩容示意图下：PolarDB-X 1.0 扩容步骤如下：创建扩容计划 选择新增加RDS/PolarDB MySQL，并选定需要迁移到新RDS/PolarDB MySQL实例上的分库，提交任务后系统自动在目标RDS/PolarDB MySQL上创建数据库和账号，并提交任务进行数据迁移同步。...
从Kafka同步数据
当您需要将消息队列Kafka的数据实时同步至云数据库ClickHouse中时，本文档为您提供了详细的解决方案，以满足您的数据实时处理需求。说明 云数据库ClickHouse 集群从Kafka进行数据同步目前仅支持云消息队列Kafka和部署在ECS上的自建Kafka。...
数据同步模版
同步方式 详情 多库多表同步 如果您需要将一个或多个数据库中的一张或多张业务数据表实时复制到另一个数据库时，则可以使用多库多表同步模版。Flink CDC可以自动同步整库的全量和增量数据，同时还能实时将每张源表的表结构变更（加列等）...
DDL 同步范围
本文 DDL 同步支持说明中的 DDL 语句，仅作为 DDL 示例，具体语法受不同数据库支持影响，略有差异，请根据不同数据库实际语法评估支持的 DDL 语句。本文 DDL 同步支持说明中的表相关的 CREATE DDL，需要以 匹配规则 的方式选择对象，并且 ...
如何解决关于表结构的报错？
报错：Access denied for user 'XXXX'@'%' to database 'XXXX' 可能原因：DTS任务使用的数据库账号，没有访问报错信息中的数据库的权限。解决方法：方法一：使用权限足够的数据库账号，创建DTS任务。方法二：给报错信息中的账号，授予足够...
从ECS上的自建SQL Server同步至云原生数据仓库...
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
技术原理
PolarDB-X 1.0 控制台上创建 PolarDB-X 1.0 数据库时，在选定一个数据库实例的情况下，可以选择将底层数据库实例下的一个逻辑数据库直接引入 PolarDB-X 1.0 做读写分离，不需要做数据迁移。分布式事务 分布式事务通常使用二阶段提交来保证...
从ECS上的自建SQL Server同步至云原生数据仓库...
注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，...
基础版Spark全密态计算引擎使用示例
连接地址格式为：MySQL数据库：jdbc:mysql:/ip:port/database_name PostgreSQL数据库：jdbc:postgresql:/ip:port/database_name 本文示例为 jdbc:mysql:/rm-bp1487t8613zz*.mysql.rds.aliyuncs.com:3306/adb 。userName 数据库账号。...
概述
全球数据库网络（Global Database Network，简称GDN）是由分布在同一个国家内多个地域的多个 PolarDB 集群组成的网络。本文将介绍GDN特性等详情。GDN网络中所有集群的数据保持同步，网络中每个集群均提供读服务（写服务会被转发到主集群...
实施步骤
通过DTS实时同步PolarDB for MySQL数据到分析型数据库MySQL版需要以下几个步骤：步骤一：创建DTS同步作业 步骤二：配置同步链路 步骤三：查看同步数据 步骤一：创建DTS同步作业 创建DTS同步作业需要用户支付一定的费用，DTS支持两种付费...
OceanBase 数据库 MySQL 租户之间的同步 DDL
迁移或同步 OceanBase 数据库 MySQL 租户的数据至 OceanBase 数据库 MySQL 租户时，支持同步 DDL。重要 如果源端创建了 index，目标端已经存在。数据传输会自动忽略该 index，不会中断。同步 DDL 支持的范围 添加列 ALTER TABLE ADD COLUMN...
概述
目前支持MaxCompute（原ODPS）、分析型数据库MySQL(ADS)、云数据库RDS、表格存储TableStore、对象存储OSS、ElasticSearch以及函数计算服务等。用户只需向DataHub服务中写入一次数据，并且在DataHub服务中配置数据同步功能，便可以在所支持...
从ECS上的Codis集群同步至Redis实例
阿里云数据库Redis版是兼容开源Redis协议标准、提供内存加硬盘混合存储的数据库服务，基于...本案例同步的数据库为DB0和DB1，通过 DMS登录Redis实例 后与源Codis集群进行对比，Key总数源Codis集群一致。图 1.阿里云Redis实例 图 2.源Codis集群
CREATE DATABASE AS（CDAS）语句
参数 说明 target_database 数据同步的目标数据库名，可以指定具体的Catalog名称。COMMENT 目标库的描述，默认使用source_database的描述。WITH 目标库的参数，详情请参见 管理元数据 中对应的Catalog文档。说明 key和value都需要为字符串...
从ECS上的Twemproxy Redis集群同步至Redis实例
阿里云数据库Redis版是兼容开源Redis协议标准、提供内存加硬盘...本案例同步的数据库为DB0，通过 DMS登录Redis集群 后与源Twemproxy Redis集群进行对比，Key总数源Twemproxy Redis集群一致。图 1.阿里云Redis实例 图 2.源Twemproxy Redis集群
湖仓一体
指定数据库 通过在Catalog配置中设置 include_database_list 和 exclude_database_list，可以指定需要同步的数据库。include_database_list：支持只同步指定的Database，以英文逗号（,）分隔，默认同步所有Database。Database名称是区分大...
创建数据库
您可以使用DMS（Data Management Service）、客户端（Navicat for MySQL、DBeaver、DBVisualizer、SQL WorkBench/J）、业务系统中的程序代码或者MySQL命令行工具连接 云原生数据仓库AnalyticDB MySQL版 集群，然后通过CREATE DATABASE语句...
从ECS上的Codis集群同步至Redis实例
阿里云数据库Redis版是兼容开源Redis协议标准、提供内存加硬盘混合存储的数据库服务，基于...本案例同步的数据库为DB0和DB1，通过 DMS登录Redis实例 后与源Codis集群进行对比，Key总数源Codis集群一致。图 1.阿里云Redis实例 图 2.源Codis集群
2021年
云数据库MongoDB版（副本集架构）同步至云数据库MongoDB版（副本集架构或分片集群架构）云数据库MongoDB版（单节点架构）全量迁移至云数据库MongoDB版（所有架构）云数据库MongoDB版（副本集架构）迁移至云数据库MongoDB版（副本集架构或分...
BigQuery数据源
BigQuery数据源为您提供读取BigQuery的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的BigQuery数据同步能力支持情况。支持的版本及地域 BigQuery使用的SDK版本是 google-cloud-bigquery 2.29.0，...
操作指南
您可以在 PolarDB 控制台创建和管理集群/实例、管理数据库、查看资源监控信息、备份或恢复数据、同步或迁移数据等。相关文档请参考下表：数据库引擎 文档 PolarDB MySQL版 管理集群 管理数据库 数据迁移 数据同步 备份与恢复 性能监控 其他...
从RDS MySQL同步至DataHub
dts_db_name new_dts_sync_dts_db_name String 数据库名称。dts_table_name new_dts_sync_dts_table_name String 表名。dts_utc_timestamp new_dts_sync_dts_utc_timestamp String 操作时间戳，即日志的时间戳（UTC 时间）。dts_before_...
从自建Db2迁移至RDS MySQL
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将自建的Db2数据库迁移至RDS MySQL。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在自建应用不停服的情况下，平滑地完成Db2数据库的...
登录数据库
您需要登录图数据库GDB才能对数据库内的数据进行查询和分析，本教程以DMS为例介绍如何登录数据库。前提条件 已根据快速入门完成创建账号步骤，具体操作请参见 创建账号。操作步骤 登录 DMS数据管理服务控制台。单击页面左侧 数据库实例 旁...
DB2数据源
jdbcUrl":"jdbc:db2:/ip:port/database",/DB2数据库的JDBC连接信息。column":["id"],"batchSize":1024,/一次性批量提交的记录数大小。table":"",/表名。username":"",/用户名。preSql":[]/执行数据同步任务之前执行的SQL语句。},"name...
数据同步方案概览
从RDS MySQL同步至PolarDB MySQL 从RDS同步至通过专线、VPN网关或智能接入网关接入的自建MySQL MySQL数据同步至其他数据库 从RDS同步到云原生数据仓库AnalyticDB MySQL 从RDS MySQL同步至云原生数据仓库AnalyticDB PostgreSQL 从RDS MySQL...
从PolarDB MySQL版同步至Datahub
说明 如果源或目标数据库是阿里云数据库实例（例如 RDS MySQL、云数据库MongoDB版 等）或ECS上的自建数据库，DTS会自动将对应地区DTS服务的IP地址添加到阿里云数据库实例的白名单或ECS的安全规则中，您无需手动添加，请参见 DTS服务器的IP...
使用DTS迁移分片集群架构的自建MongoDB数据库上云
本文介绍如何使用数据传输服务DTS（Data Transmission Service），依次将本地MongoDB分片集群数据库中的各个Shard节点，迁移至阿里云MongoDB分片集群实例来实现迁移上云。通过DTS的增量迁移功能，可以实现在本地应用不停服的情况下，平滑...
- 产品推荐
- 这些文档可能帮助您