Kafka数据源
offset Long timestamp Long headers String partition Long 离线写数据 DataWorks将数据写入Kafka时，支持写入JSON格式或text格式的数据，不同的数据同步方案往Kafka数据源中写入数据时，对数据的处理策略不一致，详情如下。重要 写入text...
重新配置数据同步作业
当您需要停止数据同步或重新配置数据同步时，您可以通过本文的方法来重置数据同步作业。前提条件 数据同步作业不处于 未配置 状态。费用影响 包年包月：无影响。...相关文档 如需重新配置数据同步作业，请参见 DTS数据同步方案概览。
PolarDB-X（DRDS）同步方案选取指南
本文介绍各同步方案适用的场景，帮助您根据业务选择合适的方案同步数据。同步方案 原理说明 适用场景 使用限制 相关文档 Logstash JDBC数据同步 通过logstash-input-jdbc插件实现通过Logstash批量查询PolarDB-X中的数据，并将数据迁移到...
数据同步拓扑介绍
数据同步功能支持多种同步拓扑，您可以根据业务需求规划您的同步实例。本文介绍DTS支持的同步拓扑类型和使用说明。单向同步 在单向同步的拓扑中，为保障同步数据的一致性，对目标实例中的同步...相关文档 DTS数据同步方案概览 同步方案概览
数据同步方案概览
云原生关系型数据库PolarDB 提供了多种数据同步方案，可满足不同的业务同步需求，使您可以在不影响业务的情况下平滑的实现引擎间的数据同步。通过使用阿里云 数据传输服务（DTS），您可以实现 PolarDB 的实时同步。数据同步 使用场景 文档...
数据同步方案概览
RDS提供了多种数据同步方案，可满足单向、双向以及不同引擎间的同步需求。适用场景 文档链接 MySQL间数据同步 MySQL实例间的双向同步 RDS MySQL实例间的单向同步 从ECS上的自建MySQL同步至RDS 从通过专线、VPN网关或智能接入网关接入的自建...
Redis数据同步方案概览
借助数据传输服务DTS（Data Transmission Service），云数据库Redis版 为您提供了丰富数据同步方案，可适用于同步上云、数据异地多活、数据容灾、数据分析等多种业务场景。DTS介绍 DTS 是阿里云提供的实时数据流服务，集数据迁移、订阅、...
数据迁移和同步方案概览
副本集 逻辑备份恢复至自建数据库 将MongoDB物理备份文件恢复至自建数据库 数据同步方案 您可以通过以下方式同步MongoDB数据库的数据。重要 单节点实例不支持数据同步。通过数据传输服务DTS实现MongoDB数据库间的数据同步。同步过程中的...
自动同步PolarDB-X元数据
相较于其他数据同步方案，一站式方案同步数据成本低、简单易用、能实时同步数据，可实现真正的实时分析。本文主要介绍如何一站式将 PolarDB分布式版 实例的数据同步至 AnalyticDB for MySQL 湖仓版（3.0）集群。前提条件 湖仓版（3.0）集群...
配置同步任务（旧控制台）
关于各类数据源的详细配置案例请参见 DTS数据同步方案概览。准备工作 数据同步的源数据库为PolarDB MySQL或自建MySQL时，须开启其binlog功能。详情请参见 开启PolarDB MySQL的binlog 和 为自建MySQL创建账号并设置binlog。操作步骤 根据待...
支持的数据源及同步方案
DataWorks还为您提供多种数据源之间进行不同数据同步场景（整库离线同步、全增量实时同步）的同步。说明 实时同步场景下，各数据源支持的DDL与DML处理策略，详情请参见：支持的DML及DDL操作。具体任务配置与实现您可进入 离线同步、实时...
Redis数据迁移方案概览
云数据库Redis间迁移 DTS 云数据库Redis实例间单向数据迁移 跨云账号迁移云数据库Redis实例 从第三方云迁移至云数据库Redis DTS 使用DTS将华为云分布式缓存服务Redis迁移至阿里云 相关文档 数据迁移与同步FAQ Redis数据同步方案概览 ...
Kafka Partition同步策略说明
配置案例请参见 从RDS同步至自建Kafka集群，更多相关案例请参见 DTS数据同步方案概览。警告 数据同步作业启动后，请勿修改目标Topic的Partition数量，否则将导致数据同步失败。策略说明 策略名称 说明 优缺点 全部投递到Partition 0 将所有...
修复同步作业预检查失败的问题
说明 不同类型数据库所需的权限不同，详情请参见具体的配置案例：DTS数据同步方案概览。给任务中使用的数据库账号授予足够的权限，或用权限充足的数据库账号配置任务。说明 建议通过其他工具，验证任务中使用的账号是否具有足够的权限。...
修改数据同步的附加列规则
DTS在将数据同步到DataHub或MaxCompute时，会在同步的目标表添加一些附加列，用于元数据管理、排序去重等。如果附加列和目标表中已有的列出现名称冲突将会导致数据同步失败，为避免出现此类问题...相关文档 同步方案概览 DTS数据同步方案概览
集成与开发概览
更多信息，请参见 数据同步方案概览。数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。离线集成。更多信息，请参见 离线集成概述。离...
配置数据层
说明 在 数据传输控制台 的创建同步任务操作，请参见 DTS数据同步方案概览。直接录入 同步任务 同步任务ID（名称），选择DTS控制台已经创建的同步任务。dtsp6s12ghvv74xb7m（test-正向）创建同步链路成功后，您可以在 同步链路列表 页面...
配置同步实例
同步不同的数据库所需的权限有所差异，详情请参见 DTS数据同步方案概览 中对应的配置案例。SourceEndpoint.Password String 否 Test123456 源库数据库账号密码。说明 当 SourceEndpoint.InstanceType取值为 ECS、Express、dg或 cen时，本...
离线同步常见问题
MaxCompute如何实现列筛选、重排序和补空等 MaxCompute列配置错误的处理 MaxCompute分区配置注意事项 MaxCompute任务重跑和failover 报错信息及解决方案 报错信息及解决方案 数据同步报错：[TASK_MAX_SLOT_EXCEED]:Unable to find a ...
配置数据层
说明 在 数据传输控制台 的创建同步任务操作，请参见 DTS数据同步方案概览。说明 MongoDB数据源同步链路使用限制：副本集云实例：支持手动创建单向或双向同步任务，支持直接录入单向或双向同步任务。副本集自建类型数据源：支持手动创建...
源库存在触发器时如何配置同步作业
操作步骤 本文以自建MySQL同步至RDS MySQL为例介绍配置流程，更多配置案例请参见 DTS数据同步方案概览。创建一个数据迁移任务，将源库的结构迁移至目标库，相关案例请参见 从自建MySQL迁移至RDS实例（仅选择 结构迁移）。说明 在配置数据...
配置DTS数据迁移节点
更多信息，请参见 数据同步方案概览。前提条件 来源和目标库类型为：MySQL、SQL Server、PostgreSQL、AnalyticDB MySQL 2.0、AnalyticDB MySQL 3.0、PolarDB MySQL版、AnalyticDB PostgreSQL版、Oracle。来源和目标库为RDS或通过公网录入的...
离线同步并发和限流之间的关系
本文可以帮助您理解和配置任务通道控制参数，降低误配的数量和答疑。本文将为您介绍离线同步并发和限流之间的关系。实践内容 并发数 阅读此部分，您可以解决和理解如下...数据源连接数Quota限制，功能入口（数据同步解决方案）如下图所示：
ETL工具支持概览
支持的ETL工具见下，可以同时参见更详细的同步方案列表 数据迁移及同步方案综述：数据传输服务（DTS）：阿里云提供的实时数据同步服务，可以将其他数据源（RDS MySQL，ECS自建MySQL，PolarDB等）实时同步数据到 AnalyticDB PostgreSQL版，...
同步方案选取指南
同步方案 原理说明 适用场景 使用限制 相关文档 DTS实现数据实时同步 通过订阅binlog的方式实现数据同步，在不影响源数据库的情况下，同步延迟可降至毫秒级别。对数据同步的实时性要求较高的场景。DTS在执行全量数据初始化时将占用源库和...
数据同步概述
常见数据源 Hologres内置同步方案 DataWorks数据集成方式同步数据 Flink方式同步数据 MaxCompute 支持（推荐，SQL命令）支持 支持 OSS 支持（推荐，SQL命令）支持 不支持 本地文件 支持（Copy命令）不支持 不支持 MySQL等数据库 不支持 ...
同步时源库为PolarDB-X 2.0的注意事项及限制
源库为PolarDB-X的同步方案概览 根据如下同步方案，查看同步任务的注意事项及限制：说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等操作不会同步到如下目标数据库：MySQL（RDS MySQL、自建MySQL）PolarDB ...
从自建TiDB同步至云原生数据仓库AnalyticDB MySQL
说明 为保障正常通信和减少网络延迟对增量数据同步的影响，部署阿里云消息队列Kafka实例时，需配置和源库服务器相同的专有网络。在自建Kafka集群或阿里云消息队列Kafka实例中创建Topic。将DTS服务器的IP地址段加入至TiDB数据库的白名单安全...
同步时源库为PolarDB MySQL版的注意事项及限制
源实例为PolarDB MySQL版的同步方案概览 根据如下同步方案，查看同步任务的注意事项及限制：说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等操作不会同步到如下目标数据库：MySQL（RDS MySQL、自建MySQL）...
什么是数据传输服务DTS
同步方案概览 数据同步功能特性 数据迁移 实现同构和异构数据源之间的数据迁移，适用于数据上云迁移、阿里云内部跨任务数据迁移、数据库拆分或扩容等业务场景。说明 数据迁移在某些场景下可实现部分数据同步的功能，但是两者的适用场景、...
同步时源库为MySQL的注意事项及限制
源库为MySQL的同步方案概览 根据如下同步方案，查看同步任务的注意事项及限制：说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等操作不会同步到如下目标数据库：MySQL（RDS MySQL、自建MySQL）PolarDB MySQL版...
数据集成侧同步任务配置
完成数据源、网络、资源的准备配置后，您可以根据同步场景选择同步解决方案，创建并执行同步任务，将源端数据同步至目标端。本文为您介绍同步任务的通用配置流程，不同的同步方案配置流程可能存在差异，对应方案配置详情请以界面为准。前提...
概述
是 函数计算 TUPLE/BLOB 实时 否 Hologres TUPLE 实时 否 使用说明 用户使用数据同步时尽可能的进行同一Region的云产品之间的数据同步，一方面避免跨Region网络不通问题，另一方面也减少不同Region之间数据同步的网络时延。由于阿里云的...
数据库中的数据离线同步至Hologres
说明 跨地域是否可以同步数据，详情请参见 选择网络连通方案。背景信息 Hologres是一款实时交互式分析产品，与大数据生态无缝打通，与大数据智能研发平台DataWorks深度融合。您可以通过DataWorks数据集成同步将数据库中的数据离线同步至...
购买流程
网络类型 数据同步任务使用的网络类型，固定为 专线。资源组 选择同步任务所属的资源组，相关介绍，请参见 什么是资源管理。购买量 订购时长 在预付费模式下，选择包年包月任务的时长和数量，包月可选择1~9个月，包年可选择1年、2年、3年和...
离线同步数据质量排查
本文将为您列举一些常见数据质量方面的场景，方便您排查是否存在符合的场景，根据对应解决方案解决数据同步质量问题。背景信息 讲述数据集成数据同步的原理机制，理解数据同步的过程，进而对数据同步的执行效果有判断能力，判断数据同步...
HttpFile数据源
DATE 日期时间类型，支持以下日期时间格式：yyyy-MM-dd HH:mm:ss yyyy-MM-dd HH:mm:ss 数据同步任务开发：HttpFile同步流程引导 HttpFile数据同步任务的配置入口和通用配置流程指导可参见下文的配置指导，详细的配置参数解释可在配置界面...
数据同步方案概览
源为自建MySQL或RDS MySQL的同步方案 源为PolarDB MySQL版的同步方案 源为PolarDB PostgreSQL版（兼容Oracle）的同步方案 源为PolarDB PostgreSQL版的同步方案 源为PolarDB-X的同步方案 源为Oracle的同步方案 源为自建PostgreSQL或RDS ...
配置资源组与网络连通
在数据同步任务配置前，您需要确保用于执行同步任务的独享数据集成资源组与您将要同步的数据来源端与目的端数据库的网络连通性，您可以根据数据库所在网络环境，选择合适的网络解决方案来实现网络连通。本文为您介绍数据库在不同网络环境中...
数据集成：全领域数据汇聚
DataWorks的数据集成功能模块是稳定高效、弹性伸缩的数据同步平台，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。功能概述 DataWorks数据集成支持离线同步、实时同步，以及离线和实时一体化的全增量同步...
- 产品推荐
- 这些文档可能帮助您