通过整库迁移配置集成任务
离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务，包括MaxCompute、Hive、TDH Inceptor等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、...
通过跨库Spark SQL任务将数据同步到OSS
选择数据库类型，搜索并选择数据库，输入数据库在Spark SQL语句中的引用别名为demo_id。关于配置项的详细介绍，请参见 数据库配置表。说明 如果数据库未登录，在 登录实例 对话框中，输入数据库账号和密码登录数据库实例。单击 保存。在SQL...
API概览
SyncInstanceMeta 同步实例下所有数据库的元数据 调用SyncInstanceMeta同步实例下所有数据库字典元数据。SyncDatabaseMeta 同步数据库元数据 同步数据库字典元数据。工单操作 API 标题 API概述 通用 通用 CreateOrder 创建工单 创建工单。...
基本概念
对于异构数据库之间的结构迁移，DTS会将源库的结构定义转换为目标库支持的结构定义，例如将Oracle数据库中的NUMBER数据类型转换为MySQL数据库中的DECIMAL数据类型。全量数据迁移 在全量数据迁移阶段，DTS会将源数据库的存量数据全部迁移到...
无感集成（Zero-ETL）
pgm-2ze*数据库名称 云数据库 RDS PostgreSQL 版 或 云原生数据库 PolarDB PostgreSQL 版 数据库的名称。testdb 数据库账号 云数据库 RDS PostgreSQL 版 或 云原生数据库 PolarDB PostgreSQL 版 数据库的账号。test 数据库密码 云数据库 ...
支持的数据源及同步方案
数据源 离线同步 实时同步 全增量同步任务 单表读 单表写 单表增量读 单表增量写 整库增量读 整库增量写 整库离线读 整库离线写 单表/整库全增量实时读 单表/整库全增量实时写 Amazon S3数据源-Amazon Redshift数据源-AnalyticDB for MySQL...
混合云解决方案
方案架构 方案解析 整体结构 这是SQL Server典型的2+3高可用和高扩展解决方案，主备使用镜像完成数据库同步，以提供故障转移。分发单独放在一台服务器，其目的是解决publisher故障转移时，分发服务器可以提供持续同步数据到订阅服务器。...
数据迁移、同步和恢复区别
数据迁移、同步和恢复的区别如下：数据迁移和恢复的区别 数据迁移和恢复都可以将数据复制到新实例，但是它们之间还有一定的区别：数据迁移主要用于上云迁移，通过数据传输服务DTS将本地数据库、ECS上的自建数据库或第三方云数据库迁移至...
数据同步模版
如果您需要修改数据库或表名称，则建议通过编写SQL的方式进行修改，详情请参见 CREATE TABLE AS（CTAS）语句 和 CREATE DATABASE AS（CDAS）语句。单击 下一步。查看系统根据您选择的目标库和表生成对应的SQL代码。您可以根据需要修改 文件...
常见问题
同步ECS自建的数据库的数据时，如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个地域（Region）下，进行数据同步时如何保障数据库与DataWorks的网络连通？数据库和DataWorks不在同一个阿里云账号下，进行数据同步时如何...
通过整库迁移配置集成任务
离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务，包括MaxCompute、Hive、TDH Inceptor等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、...
Windows下IIS+.net framework+Sqlserver接入实践
本章介绍如何在Windows系统下，使用Docker For Windows打包Asp.Net应用镜像，并使用自研镜像初始化第三方SqlServer数据库部署并运行应用。准备工作 1、环境准备 以下的说明都是基于Docker For Windows下打包并运行，请确保Docker运行在...
实时数据同步
实时同步功能旨在帮助用户实现两个数据源之间的数据实时同步。可应用于数据异地灾备、数据库扩缩容、跨境数据同步、查询与报表分流、云 BI（商业智能工具）及实时数据仓库等多种业务场景。支持的同步链路 数据源端 数据目的端 支持的拓扑 ...
ApsaraDB For OceanBase数据源
实时读 OceanBase为分布式关系型数据库，可以使物理分布不同的多个数据库上的数据，被整合为一个完整的逻辑数据库。但实时同步OceanBase的数据至 AnalyticDB for MySQL，目前仅支持同步单个物理库的数据，不支持同步逻辑库数据。说明 在整...
新增多表实时任务
数据同步支持实时任务新增多表任务，并支持一键启动多个上云任务，实现全量任务自动建表。本文介绍如何新增多表实时任务。前提条件 已新建Oracle和DataHub数据源，请参见 新建数据源。说明 当前仅支持Oracle LogMiner（11G）到DataHub多表...
配置匹配规则
数据同步项目中，仅 OceanBase 数据库 MySQL 租户至 AnalyticDB MySQL、RDS PostgreSQL 实例至 OceanBase 数据库 Oracle 租户 和 OceanBase 数据库 MySQL 租户之间的数据同步 支持通过配置通配规则的方式选择同步对象。在 选择迁移对象 ...
从ECS上的自建MySQL同步至RDS
数据传输服务DTS（Data Transmission Service）支持ECS上的自建MySQL同步至 RDS MySQL 或RDS MySQL Serverless 实例，实现增量数据的实时同步。前提条件 自建MySQL数据库版本为5.1、5.5、5.6、5.7或8.0版本。已创建 RDS MySQL实例 或 ...
从自建TiDB同步至云原生数据仓库AnalyticDB MySQL
DTS在执行增量数据同步时将从Kafka集群中获取对应的数据并实时同步至目标数据库（例如 云原生数据仓库AnalyticDB MySQL）。注意事项 DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库...
一键实时同步至MaxCompute
一键实时同步至MaxCompute方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至MaxCompute任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您...
一键实时同步至MaxCompute
一键实时同步至MaxCompute方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至MaxCompute任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您...
数据同步方案概览
通过使用阿里云 数据传输服务（DTS），您可以实现 PolarDB 的实时同步。数据同步 使用场景 文档链接 PolarDB 间的数据同步 PolarDB MySQL集群间的单向同步 PolarDB MySQL集群间的双向同步 PolarDB 与其它数据库的数据同步 RDS MySQL同步至...
一键实时同步至DataHub
一键实时同步至DataHub方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至DataHub任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步...
迁移MySQL至Hologres
MySQL单表实时同步至Hologres 整库实时同步 将MySQL数据库整库实时同步至Hologres。MySQL整库实时同步至Hologres 同步解决方案 数据集成支持同步解决方案功能，您可以通过配置同步规则，一次性实时同步数据至对应的数据源中。同步解决方案...
一键实时同步至Hologres
数据集成附加字段支持的变量字段如下：EXECUTE_TIME：执行时间 UPDATE_TIME：更新时间 DB_NAME_SRC：原始数据库名称 DB_NAME_SRC_TRANSED：转换后数据库名称 DATASOURCE_NAME_SRC：源端数据源名称 DATASOURCE_NAME_DEST：目的端数据源名称 ...
数据同步流程
数据传输提供数据同步功能，帮助您实现数据源之间的数据实时同步。适用于数据异地多活、数据异地灾备、数据聚合和实时数据仓库等多种业务场景。您可以参考以下流程进行同步前的准备工作、以及购买、配置和管理数据同步项目。完成准备工作。...
从RDS同步至通过专线、VPN网关或智能接入网关接入的自...
数据传输服务DTS（Data Transmission Service）支持将 RDS MySQL 或RDS MySQL Serverless 同步至通过专线、VPN网关或智能接入网关接入的自建MySQL，实现增量数据的实时同步。前提条件 自建MySQL数据库版本为5.1、5.5、5.6、5.7或8.0版本。...
MySQL一键实时同步至MaxCompute
您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入的数据库。本实践中创建的数据源名为 doc_mysql1，详情请参见 配置MySQL数据源、配置MaxCompute数据源。说明 数据源相关能力介绍详情请...
从通过专线、VPN网关或智能接入网关接入...MySQL同步至RDS
数据传输服务DTS（Data Transmission Service）支持将通过专线、VPN网关或智能接入网关接入的自建MySQL同步至 RDS MySQL 或RDS MySQL Serverless，实现增量数据的实时同步。前提条件 已创建 RDS MySQL实例 或 Serverless实例。自建MySQL...
MySQL一键实时同步至MaxCompute
您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入的数据库。本实践中创建的数据源名为 doc_mysql1，详情请参见 配置MySQL数据源、配置MaxCompute数据源。说明 数据源相关能力介绍详情请...
一键实时同步至Kafka
一键实时同步至Kafka方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至Kafka任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步的源...
无感数据集成（Zero-ETL）
上述参数配置完成后，单击 配置库表字段，配置信息如下：库表字段配置 说明 数据库名称 选择已有的数据库。表名称 选择已有的数据表。主键列 已选数据表中的主键所在字段。分布键 已选数据表中的分布键所在字段。类型 数据表类型，包括分区...
什么是数据传输服务DTS
RDS：阿里云关系型数据库RDS（Relational Database Service）是一种稳定可靠、可弹性伸缩的在线数据库服务，提供容灾、备份、恢复、迁移等方面的全套解决方案，解决数据库运维的烦恼。PolarDB：PolarDB是阿里云自研的下一代关系型云数据库...
数据同步操作指导
数据同步功能可以帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等多种业务场景。本文介绍数据同步功能的具体使用流程，帮助您快速掌握创建、...
数据集成侧同步任务配置
数据集成基于源端数据库与目标端数据库类型为您提供丰富的数据同步任务，同步类型包括：整库离线同步（一次性全量同步、周期性全量同步、离线全增量同步、一次性增量同步、周期性增量同步）、一键实时同步（一次性全量同步，实时增量同步）...
功能特性
创建同步Fc 同步OSS 同步Datahub中的数据至OSS指定的文件对象中 创建同步OSS 同步TableStore 同步Datahub中的数据至TableStore指定的具体表中 创建同步TableStore 同步数据库 同步Datahub中的数据至RDS/MySQL/ADS3.0指定的具体表中 创建...
数据迁移、同步和恢复区别
数据迁移、同步和恢复的区别如下：数据迁移和恢复的区别 数据迁移和恢复都可以将数据复制到新实例，但是它们之间还有一定的区别：数据迁移主要用于上云迁移，通过数据传输服务DTS将本地数据库、ECS上的自建数据库或第三方云数据库迁移至...
数据迁移、同步和恢复区别
数据迁移、同步和恢复的区别如下：数据迁移和恢复的区别 数据迁移和恢复都可以将数据复制到新实例，但是它们之间还有一定的区别：数据迁移主要用于上云迁移，通过数据传输服务DTS将本地数据库、ECS上的自建数据库或第三方云数据库迁移至...
数据迁移、同步和恢复区别
数据迁移、同步和恢复的区别如下：数据迁移和恢复的区别 数据迁移和恢复都可以将数据复制到新实例，但是它们之间还有一定的区别：数据迁移主要用于上云迁移，通过数据传输服务DTS将本地数据库、ECS上的自建数据库或第三方云数据库迁移至...
数据同步概述
常见数据源 Hologres内置同步方案 DataWorks数据集成方式同步数据 Flink方式同步数据 MaxCompute 支持（推荐，SQL命令）支持 支持 OSS 支持（推荐，SQL命令）支持 不支持 本地文件 支持（Copy命令）不支持 不支持 MySQL等数据库 不支持 ...
从ECS上的自建MySQL同步至RDS
数据传输服务DTS（Data Transmission Service）支持ECS上的自建MySQL同步至 RDS MySQL 或RDS MySQL Serverless 实例，实现增量数据的实时同步。前提条件 自建MySQL数据库版本为5.1、5.5、5.6、5.7或8.0版本。已创建 RDS MySQL实例 或 ...
- 产品推荐
- 这些文档可能帮助您