迁移工具
将MySQL数据同步迁移到表格存储 将HBase数据同步到表格存储 将MaxCompute数据同步到表格存储 将表格存储数据同步到MaxCompute 将表格存储数据同步迁移到OSS 将表格存储数据表中数据同步到另一个数据表 将表格存储时序表中数据同步到另一个...
同步时源库为SQL Server的注意事项及限制
如果同步的源数据库类型为SQL Server，如自建SQL Server、RDS SQL Server，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。源库为SQL Server的同步方案概览 根据同步方案，查看同步任务的注意...
离线同步能力说明
功能概述 离线同步支持的能力如下图所示：功能 描述 异构数据源间的数据同步 数据集成目前支持40+数据源类型，包括关系型数据库、非结构化存储、大数据存储、消息队列间的数据同步。您可以通过定义来源与去向数据源，并通过数据集成提供的...
PolarDB MySQL同步至AnalyticDB for PostgreSQL
数据传输服务DTS（Data Transmission Service）支持将PolarDB MySQL数据同步至 AnalyticDB PostgreSQL，帮助您轻松实现数据的流转，将企业数据集中分析。前提条件 PolarDB MySQL版 集群已开启Binlog，详情请参见 如何开启Binlog。PolarDB ...
从通过专线、VPN网关或...同步至AnalyticDB PostgreSQL版
数据传输服务DTS（Data Transmission Service）支持将通过专线、VPN网关或智能接入网关接入的自建MySQL数据同步至云原生数据仓库AnalyticDB PostgreSQL，帮助您轻松实现数据的流转，将企业数据集中分析。前提条件 自建MySQL数据库版本为5.1...
通过数据同步功能同步SLS数据至数仓版
通过 AnalyticDB for MySQL 的数据同步功能，您可以将SLS中指定时间点之后产生的数据实时同步至 数仓版（3.0）集群，以满足日志数据实时分析的需求。前提条件 数仓版（3.0）集群与日志服务SLS的 Project和 Logstore位于同一地域。具体操作...
从通过专线、VPN网关...同步至云原生数据仓库AnalyticDB ...
数据传输服务DTS（Data Transmission Service）支持将通过专线、VPN网关或智能接入网关接入的自建MySQL数据同步至云原生数据仓库AnalyticDB PostgreSQL，帮助您轻松实现数据的流转，将企业数据集中分析。前提条件 自建MySQL数据库版本为5.1...
配置AnalyticDB for MySQL 3.0输入组件
同步AnalyticDB for MySQL 3.0数据源的数据至其他数据源的场景中，您需要先配置AnalyticDB for MySQL 3.0输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置AnalyticDB for MySQL 3.0输入组件。在开始执行操作前，请...
Redis数据迁移方案概览
借助数据传输服务DTS（Data Transmission Service），云数据库Redis版 提供了多种数据迁移方案，包括自建Redis数据库迁移上云、云数据库Redis版 实例间的数据迁移、其他云Redis数据迁移到阿里云等，满足多种业务场景下Redis数据迁移的需求...
通过数据同步功能同步SLS数据至湖仓版
通过 AnalyticDB for MySQL 的数据同步功能，您可以将SLS中指定时间点之后产生的数据实时同步至 湖仓版（3.0）集群，以满足日志数据实时分析的需求。前提条件 湖仓版（3.0）集群与日志服务SLS的 Project和 Logstore位于同一地域。具体操作...
从RDS MySQL同步至PolarDB-X
因此您需要在执行数据同步前评估源库和目标库的性能，同时建议您在业务低峰期执行数据同步（例如源库和目标库的CPU负载在30%以下）。全量初始化过程中，并发INSERT会导致目标集群的表碎片，全量初始化完成后，目标集群的表空间比源库的表...
配置AnalyticDB for MySQL 3.0输入组件
同步AnalyticDB for MySQL 3.0数据源的数据至其他数据源的场景中，您需要先配置AnalyticDB for MySQL 3.0输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置AnalyticDB for MySQL 3.0输入组件。操作步骤 请参见 通过...
从RDS SQL Server同步至云原生数据仓库AnalyticDB ...
您可以在 数据同步 页面，查看数据同步作业的状态。常见问题 Q：如何在云原生数据仓库AnalyticDB PostgreSQL找到同步的目标表？A：DTS的结构初始化会遵循源库的结构将其同步至目标库。本案例中，您可以在目标实例的 dtstestdata 数据库的 ...
Kafka增量数据同步至MaxCompute
本文以将Kafka增量数据同步至MaxCompute的一个实践为例，为您介绍Kafka的分钟、小时、天增量数据定时调度写入MaxCompute小时、天分区表的配置详情。注意事项 Kafka的版本需要大于等于0.10.2小于等于2.2.x，且Kafka启用了记录时间戳，并且...
Kafka增量数据同步至MaxCompute
本文以将Kafka增量数据同步至MaxCompute的一个实践为例，为您介绍Kafka的分钟、小时、天增量数据定时调度写入MaxCompute小时、天分区表的配置详情。注意事项 Kafka的版本需要大于等于0.10.2小于等于2.2.x，且Kafka启用了记录时间戳，并且...
从RDS SQL Server同步至云原生数据仓库AnalyticDB ...
您可以在 数据同步 页面，查看数据同步作业的状态。常见问题 Q：如何在云原生数据仓库AnalyticDB PostgreSQL找到同步的目标表？A：DTS的结构初始化会遵循源库的结构将其同步至目标库。本案例中，您可以在目标实例的 dtstestdata 数据库的 ...
通过脚本模式配置离线同步任务
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
基于Delta lake的一站式数据湖构建与分析实战
常用的数据同步方式有基于DataX、Sqoop等数据同步工具做批量同步；同时在对于实时性要求较高的场景下，配合使用Kafka+spark Streaming/flink等流式同步链路。目前很多云厂商提供了一站式入湖的解决方案，帮助客户以更快捷更低成本的方式...
场景：配置增量数据离线同步任务
该内容将向您介绍如何配置增量数据同步任务。使用说明 部分数据源暂无增量同步方案，例如HBase、OTSStream数据源等。具体数据源是否支持增量同步可以看具体的Reader插件文档。每个插件实现增量同步的所配置的参数可能不同，具体参数配置...
从PolarDB-X同步至AnalyticDB for PostgreSQL
因此您需要在执行数据同步前评估源库和目标库的性能，同时建议您在业务低峰期执行数据同步（例如源库和目标库的CPU负载在30%以下）。数据同步期间，请勿对 PolarDB-X 执行扩容、缩容、迁移热点表、变更拆分键和变更DDL等操作，否则将导致...
使用DataWorks（离线与实时）
场景3：导入其他数据源数据至MaxCompute 同步能力说明 DataWorks 数据集成 支持将其他数据源的数据同步至MaxCompute，例如将RDS等数据库的数据同步至MaxCompute，针对不同的同步场景，数据同步原理与能力支持不一致。DataWorks离线同步为您...
从自建TiDB同步至云原生数据仓库AnalyticDB MySQL
因此您需要在执行数据同步前评估源库和目标库的性能，同时建议您在业务低峰期执行数据同步（例如源库和目标库的CPU负载在30%以下）。请勿在数据同步时，对源库的同步对象使用gh-ost或pt-online-schema-change等类似工具执行在线DDL变更，...
PolarDB PostgreSQL版（兼容Oracle）集群间的单向同步
通过数据传输服务DTS（Data Transmission Service），您可以实现 PolarDB PostgreSQL版（兼容Oracle）集群间的单向数据同步。前提条件 源 PolarDB PostgreSQL版（兼容Oracle）集群需为最新版本，升级方式详情请见 版本管理。源 PolarDB ...
通过整库迁移配置集成任务
每日同步+单次同步：系统将同时生成每日调度的周期任务和手动任务，通常用于单次全量后每日增量或全量的数据同步场景。说明 来源库为FTP时，不支持 每日同步+单次同步。目标表创建为 选择创建的目标表类型。包括分区表和非分区表。不同的...
数据集成：全领域数据汇聚
核心技术与架构 引擎架构 采用星形引擎架构，数据源接入数据集成后，即可与其他各类型数据源组成同步链路进行数据同步。当前支持的数据源请参见 支持的数据源与读写插件、实时同步支持的数据源。数据集成资源组与网络连通 如上图所示，进行...
从ECS上的自建MySQL同步至自建Kafka集群
通过数据传输服务DTS（Data Transmission Service），您可以将ECS上的自建MySQL数据同步至自建Kafka集群，扩展消息处理能力。前提条件 Kafka集群的版本为0.10.1.0~2.7.0版本。已创建RDS MySQL实例，详情请参见 快速创建RDS MySQL实例。注意...
从ECS上的自建MySQL同步至自建Kafka集群
通过数据传输服务DTS（Data Transmission Service），您可以将ECS上的自建MySQL数据同步至自建Kafka集群，扩展消息处理能力。前提条件 Kafka集群的版本为0.10.1.0~2.7.0版本。已创建RDS MySQL实例，详情请参见 快速创建RDS MySQL实例。注意...
从RDS同步至自建Kafka集群
因此您需要在执行数据同步前评估源库和目标库的性能，同时建议您在业务低峰期执行数据同步（例如源库和目标库的CPU负载在30%以下）。如果源数据库没有主键或唯一约束，且所有字段没有唯一性，可能会导致目标数据库中出现重复数据。费用说明...
从自建MySQL同步至阿里云消息队列Kafka版
因此您需要在执行数据同步前评估源库和目标库的性能，同时建议您在业务低峰期执行数据同步（例如源库和目标库的CPU负载在30%以下）。如果源数据库没有主键或唯一约束，且所有字段没有唯一性，可能会导致目标数据库中出现重复数据。费用说明...
通过向导模式配置离线同步任务
背景信息 数据集成离线同步，为您提供数据读取（Reader）和写入插件（Writer）实现数据的读取与写入，您可通过向导模式和脚本模式配置离线同步任务，实现源端单表同步至目标端单表、源端分库分表同步至目标端单表两类数据同步场景。...
概述
解决方案 T+1全量同步一键建仓是指通过DLA控制台配置数据源（RDS、PolarDB for MySQL、MongoDB数据源、ECS自建数据库数据）和目标OSS数据仓库，系统按照您设定的数据同步时间自动、无缝的帮您把数据源中的数据同步到目标数据仓库OSS中，...
配置GBase 8a输入组件
同步GBase 8a数据源的数据至其他数据源的场景中，您需要先配置GBase 8a输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置GBase 8a输入组件。前提条件 已创建GBase 8a数据源，如何创建，请参见 创建GBase 8a数据源。...
配置GBase 8a输入组件
同步GBase 8a数据源的数据至其他数据源的场景中，您需要先配置GBase 8a输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置GBase 8a输入组件。前提条件 已创建GBase 8a数据源，如何创建，请参见 创建GBase 8a数据源。...
DataWorks OpenAPI概述
当前仅支持使用该接口删除实时数据同步任务。3级 UpdateDISyncTask 调用UpdateDISyncTask更新数据集成同步任务。3级 TestNetworkConnection 调用TestNetworkConnection接口，测试目标数据源与所使用资源组的网络连通性。3级 ...
数据迁移和同步方案概览
云数据库MongoDB支持使用阿里云自研的MongoShake工具，实现MongoDB数据库间的数据同步。不同同步场景下数据同步的方法如下。同步场景 同步工具 文档链接 实例间同步 DTS 云数据库MongoDB版（副本集架构）同步至云数据库MongoDB版（副本集...
同步 OceanBase 数据库 MySQL 租户的数据至 Analytic...
本文为您介绍如何同步 OceanBase 数据库 MySQL 租户的数据至云原生数据仓库 AnalyticDB MySQL 版。背景信息 AnalyticDB MySQL 版的基本介绍请...相关文档 新建 OceanBase 数据源 新建 ADB 数据源 批量操作数据同步项目 查看数据同步项目的详情
配置SAP Table输入组件
同步SAP Table数据源的数据至其他数据源的场景中，您需要先配置SAP Table输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置SAP Table输入组件。前提条件 已创建SAP Table数据源，如何创建，请参见 创建Sap Table...
配置SAP Table输入组件
同步SAP Table数据源的数据至其他数据源的场景中，您需要先配置SAP Table输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置SAP Table输入组件。前提条件 已创建SAP Table数据源，如何创建，请参见 创建SAP Table...
同步时源库为PolarDB MySQL版的注意事项及限制
如果同步的源集群为 PolarDB MySQL版，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。源实例为PolarDB MySQL版的同步方案概览 根据如下同步方案，查看同步任务的注意事项及限制：说明 DTS默认...
从通过专线、VPN网关或智能接入...同步至自建Kafka集群
通过数据传输服务DTS（Data Transmission Service），您可以将通过专线、VPN网关或智能接入网关接入的自建MySQL数据同步至自建Kafka集群，扩展消息处理能力。前提条件 Kafka集群的版本为0.10.1.0~2.7.0版本。自建MySQL数据库版本为5.1、5.5...
- 产品推荐
- 这些文档可能帮助您