DataStudio侧实时同步任务配置
完成数据源、网络、资源的准备配置后，您可创建实时同步节点，将多种输入及输出数据源搭配组成同步链路，进行单表或整库数据的实时增量同步。本文为您介绍如何创建单表或整库增量数据实时同步任务，并在创建完成后查看任务运行情况。前提...
DataX同步数据
DataX是异构数据源离线同步的工具，支持多种异构数据源之间高效的数据同步。Dataphin系统内嵌了DataX组件，支持通过构建Shell任务调用DataX，实现数据同步。本教程以RDS MySQL数据库为例，为您介绍基于Dataphin如何调用DataX同步数据。前提...
DataX同步数据
DataX是异构数据源离线同步的工具，支持多种异构数据源之间高效的数据同步。Dataphin系统内嵌了DataX组件，支持通过构建Shell任务调用DataX，实现数据同步。本教程以RDS MySQL数据库为例，为您介绍基于Dataphin如何调用DataX同步数据。前提...
一键实时同步至Kafka
一键实时同步至Kafka方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至Kafka任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步的源...
一键实时同步至Hologres
操作流程 步骤一：选择同步方案 步骤二：配置网络连通 步骤三：设置同步来源与规则 步骤四：设置目标表 步骤五：设置表粒度同步规则 步骤六：DDL消息处理规则 步骤七：设置任务运行资源 步骤八：执行同步任务 步骤一：选择同步方案 创建...
一键实时同步至DataHub
一键实时同步至DataHub方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至DataHub任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步...
全增量实时同步至Hologres
全增量实时同步方案为您先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建全增量实时同步至Hologres任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，...
一键实时同步至Elasticsearch
一键实时同步至Elasticsearch方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至Elasticsearch任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置...
MySQL一键实时同步至MaxCompute
步骤三：设置同步来源与规则 步骤四：设置目标表 步骤五：DDL消息处理策略 步骤六：设置任务运行资源 执行同步任务 同步任务运维 实时同步报警配置 Merge节点监控报警配置 创建同步任务 选择同步方案。创建同步解决方案任务，选择需要同步...
MySQL一键实时同步至MaxCompute
步骤三：设置同步来源与规则 步骤四：设置目标表 步骤五：DDL消息处理策略 步骤六：设置任务运行资源 执行同步任务 同步任务运维 实时同步报警配置 Merge节点监控报警配置 创建同步任务 选择同步方案。创建同步解决方案任务，选择需要同步...
从RDS同步至MaxCompute
由于MaxCompute不支持主键约束，当DTS在同步数据时因网络等原因触发重传，可能会导致MaxCompute中出现重复记录。费用说明 同步类型 链路配置费用 库表结构同步和全量数据同步 不收费。增量数据同步 收费，详情请参见 计费概述。源库支持的...
MySQL分库分表同步至MaxCompute
操作流程 步骤一：选择同步方案 步骤二：网络与资源配置 步骤三：分库源表设置 步骤四：设置目标表 步骤五：设置表粒度同步规则 步骤六：DDL消息处理规则 步骤七：设置任务运行资源 步骤八：执行同步任务 步骤一：选择同步方案 创建同步...
MySQL分库分表同步至MaxCompute
操作流程 步骤一：选择同步方案 步骤二：网络与资源配置 步骤三：分库源表设置 步骤四：设置目标表 步骤五：设置表粒度同步规则 步骤六：DDL消息处理规则 步骤七：设置任务运行资源 步骤八：执行同步任务 步骤一：选择同步方案 创建同步...
PolarDB MySQL版同步至MaxCompute
支持的同步架构 一对一单向同步 一对多单向同步 级联单向同步 多对一单向同步 关于各类同步架构的介绍及注意事项，请参见 数据同步拓扑介绍。支持同步的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE DDL ADD COLUMN 操作步骤 ...
从RDS同步至MaxCompute
由于MaxCompute不支持主键约束，当DTS在同步数据时因网络等原因触发重传，可能会导致MaxCompute中出现重复记录。费用说明 同步类型 链路配置费用 库表结构同步和全量数据同步 不收费。增量数据同步 收费，详情请参见 计费概述。源库支持的...
同步时源库为PolarDB MySQL版的注意事项及限制
X 1.0 PolarDB MySQL版同步至云原生数据仓库 AnalyticDB MySQL 版 2.0 PolarDB MySQL版同步至云原生数据仓库 AnalyticDB MySQL 版 3.0 PolarDB MySQL版同步至阿里云流式数据服务DataHub PolarDB MySQL版同步至Elasticsearch PolarDB ...
MySQL分库分表同步至Hologres（方案2.0）
背景信息 实际业务场景下数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。尤其是在MySQL分库分表的场景下，上游的...
PolarDB PostgreSQL版（兼容Oracle）间的迁移
支持同步的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE DDL 重要 2022年09月09日前创建的数据同步任务，需在配置同步任务前，在源库中创建触发器和函数来捕获DDL信息，详情请参见 通过触发器和函数实现PostgreSQL的DDL增量...
查询子实例间的同步延迟
在使用过程中，您可以随时查询子实例的同步状态、同步延迟和同步数量，掌握同步链路的实时情况。前提条件 Tair 全球多活实例中至少包含2个子实例。关于如何添加子实例，请参见 为分布式实例添加子实例。操作步骤 登录 Tair管理控制台。在...
上线离线数据同步任务
新增离线数据同步任务后，需对任务进行上线操作，同步任务上线后会按照创建同步任务中设置的调度周期执行。本文介绍如何上线离线数据同步任务。前提条件 已新增离线数据同步任务，具体操作，请参见 新增离线数据同步任务、批量新增离线数据...
更改 Topic
适用场景 创建数据库至消息队列的数据同步项目时，数据传输支持您在选择需要同步的 Topic 类型后，通过 更改 Topic 功能重新选择 Topic 名称。操作步骤 将数据同步项目配置至 选择同步对象 步骤。详情请参见相应类型的 数据同步 项目文档。...
上线离线数据同步任务
新增离线数据同步任务后，需对任务进行上线操作，同步任务上线后会按照创建同步任务中设置的调度周期执行。本文介绍如何上线离线数据同步任务。前提条件 已新增离线数据同步任务，具体操作，请参见 新增离线数据同步任务、批量新增离线数据...
查询子实例间的同步延迟
在使用过程中，您可以随时查询子实例的同步状态、同步延迟和同步数量，掌握同步链路的实时情况。前提条件 Redis 全球多活实例中至少包含2个子实例。关于如何添加子实例，请参见 为分布式实例添加子实例。操作步骤 登录 Redis管理控制台。在...
网络时间同步助手
本文介绍如何通过函数计算部署网络时间同步助手，实现设备本地时间与网络时间同步。如果您的设备上已经安装了NTP服务，有和云端服务器周期性同步系统时间的能力，则无需操作本文内容。前提条件 本示例仅适用于Link IoT Edge专业版，在开始...
查看数据同步项目的详情
启动数据同步项目后，您可以在数据同步项目的详情页面查看相应项目的基本信息、同步详情和同步对象等信息。进入详情页面 登录 OceanBase 管理控制台。在左侧导航栏，单击 数据传输>数据同步。单击目标数据同步项目的名称，进入详情页面，...
数据同步方案概览
适用场景 文档链接 MySQL间数据同步 MySQL实例间的双向同步 RDS MySQL实例间的单向同步 从ECS上的自建MySQL同步至RDS 从通过专线、VPN网关或智能接入网关接入的自建MySQL同步至RDS 不同阿里云账号下RDS实例间的数据同步 从RDS MySQL同步至...
实时数据同步
支持的同步链路 数据源端 数据目的端 支持的拓扑 备注 MySQL Zsearch（云搜）单向同步 已支持 OceanBase ODPS、DataHub 单向同步 已支持（仅专有云）ORACLE ODPS 单向同步 已支持（仅专有云）MySQL MySQL 单向同步 规划中 数据同步对象 ...
查看同步链路状态和性能
DTS可以展示全量同步性能、显示并诊断 增量同步性能，使您可以了解数据同步作业的链路状态信息和多种性能指标，为您管理数据同步作业提供参考依据。操作步骤 登录 数据传输控制台。说明 若数据传输控制台自动跳转至数据管理DMS控制台，您...
使用数据传输同步数据
数据同步能够保持源端和目标端的数据一致性，实现关键业务的数据实时流动。本文以同步 OceanBase 数据库的数据至 Kafka 为例，介绍如何使用数据传输同步数据。前提条件 在同步数据之前，您需要确认以下信息：数据传输已具备云资源访问权限...
线下路由同步方式
线下路由同步方式为智能接入网关学习本地网络私网网段的方式。通过配置线下路由同步方式，智能接入网关可以学习到用户本地网络的私网网段并将私网网段自动同步至阿里云。操作步骤 登录 智能接入网关管理控制台。在顶部菜单栏，选择目标区域...
Oracle数据源
Oracle数据源为您提供读取和写入Oracle双向通道的功能，方便您后续可以通过向导模式和脚本模式配置数据同步任务。本文为您介绍DataWorks的Oracle数据同步能力支持情况。支持的版本 离线读写 版本 离线读（Oracle Reader）离线写（Oracle ...
新建同步任务
本文为您介绍如何构建同步任务，将业务数据源的数据同步到Dataphin平台中的目标表。前提条件 已完成同步目标表的创建，详情请参见 新建同步目标表。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。在数据 开发 页面，按照下图操作指引，...
MySQL分库分表同步至Hologres（方案1.0）
背景信息 实际业务场景下数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个离线同步、实时同步和数据处理等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。尤其是在MySQL分库分表的场景下，上游的...
调转双向同步实例方向
数据传输服务DTS（Data Transmission Service）支持将双向同步实例的方向进行调转。在业务场景需要进行主备数据库切换或双云切换时，您可以轻松地调整已有双向同步实例的方向，而无需重新配置实例。背景信息 DTS为了保障双向同步实例的稳定...
新建同步任务
本文为您介绍如何构建同步任务，将业务数据源的数据同步到Dataphin平台中的目标表。前提条件 已完成同步目标表的创建，详情请参见 新建同步目标表。操作步骤 登录 Dataphin控制台。在Dataphin控制台页面，选择工作区地域 后，单击 进入...
操作流程
数据同步主要内容包括数据源配置、获取物理表、创建同步任务三方面。本文介绍数据同步的操作流程。流程图 流程说明 流程 说明 配置数据源 配置数据同步的源端和目标端。数据同步的源端，是数据同步任务的起点。数据同步目标端是同步的终点...
如何解决增量迁移延迟或同步延迟
本文介绍导致DTS增量迁移延迟或同步延迟过大的常见原因，以及相应的解决方法。您可以逐一排查这些原因，并根据解决方法恢复任务。问题描述 DTS在进行增量任务时，迁移任务或同步任务出现延迟超过1000毫秒的情况。可能原因 原因1：任务规格...
操作流程
数据同步主要内容包括数据源配置、获取物理表、创建同步任务三方面。本文介绍数据同步的操作流程。流程图 流程说明 流程 说明 配置数据源 配置数据同步的源端和目标端。数据同步的源端，是数据同步任务的起点。数据同步目标端是同步的终点...
同步 API
同步 API 可将当前环境中的 API 同步至其他环境中。为保证系统稳定性，只同步目标环境不存在的 API 配置。同步后，会自动加载配置使其生效。操作步骤 登录 mPaaS 控制台，在左侧导航栏，点击 移动网关 菜单。在 API 管理 标签页中，点击 更...
极速同步
您可以使用极速同步功能，将OSS Bucket中的数据变化极速同步至所有通过文件网关连接至该Bucket的本地客户端。前提条件 已创建文件网关并添加缓存。具体操作，请参见 创建文件网关 及 添加缓存。已创建OSS Bucket。具体操作，请参见 创建...
- 产品推荐
- 这些文档可能帮助您