创建同步Hologres
起始时间 同步Hologres的最早数据同步时间 无 TimestampUnit 同步Hologres的时间单位 将数据中TIMESTAMP类型的数据（如果有），以TimestampUnit为单位进行转换后写入到下游系统的日期类型 说明 同步场景中的(dts/dts_old)同步模式适用于...
OceanBase 数据库 MySQL 租户之间的数据同步
如果选择同步类型时未选择 全量同步，但选择了 增量同步，请在此处指定迁移某个时间节点之后的数据，默认为当前系统时间。详情请参见 设置增量同步位点。单击 预检查。在 预检查 环节，数据传输会检测逻辑表 Schema 和物理表 Schema 是否...
数据集成侧同步任务配置
背景信息 数据集成基于源端数据库与目标端数据库类型为您提供丰富的数据同步任务，同步类型包括：整库离线同步（一次性全量同步、周期性全量同步、离线全增量同步、一次性增量同步、周期性增量同步）、一键实时同步（一次性全量同步，实时...
MariaDB数据源
否 无 batchSize 一次性批量提交的记录数大小，该值可以极大减少数据同步系统与MariaDB的网络交互次数，并提升整体吞吐量。如果该值设置过大，会导致数据同步运行进程OOM异常。否 256 updateColumn 当 writeMode 配置成 update 时，发生...
迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL ...
如果选择迁移类型时未选择 全量迁移，但选择了 增量同步，请在此处指定迁移某个时间节点之后的数据，默认为当前系统时间。详情请参见 设置增量同步位点。反向增量 在 选择迁移类型 页面，选中 增量同步，才会显示该区域的参数。反向增量的...
迁移 OceanBase 数据库 MySQL 租户的数据至 MySQL ...
如果选择迁移类型时未选择 全量迁移，但选择了 增量同步，请在此处指定迁移某个时间节点之后的数据，默认为当前系统时间。详情请参见 设置增量同步位点。反向增量 在 选择迁移类型 页面，选中 增量同步，才会显示该区域的参数。反向增量的...
同步 OceanBase 数据库的数据至 RocketMQ
如果选择同步类型时未选择 全量同步，但选择了 增量同步，请在此处指定迁移某个时间节点之后的数据，默认为当前系统时间。详情请参见 设置增量同步位点。高级选项 参数 描述 序列化方式 控制数据同步至 RocketMQ 的消息格式，目前支持 ...
OceanBase 数据库之间的数据迁移
节点之间的时钟不同步，或者电脑终端和服务器之间的时钟不同步，均可能导致延迟时间（增量同步/反向增量）不准确。例如，如果时钟早于标准时间，可能导致延迟时间为负数。如果时钟晚于标准时间，可能导致延迟。请确认数据传输对 DECIMAL、...
迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL ...
节点之间的时钟不同步，或者电脑终端和服务器之间的时钟不同步，均可能导致延迟时间（增量同步/反向增量）不准确。例如，如果时钟早于标准时间，可能导致延迟时间为负数。如果时钟晚于标准时间，可能导致延迟。如果 MySQL 数据库需要进行...
仓库同步
针对从其他平台导入至 Codeup 的代码库，支持快速触发三方源代码仓库数据的同步，在代码迁移阶段可以帮助企业循序渐进地将业务从旧系统迁移至云效Codeup。当企业切换代码平台的过程中，为了降低对日常业务的干扰，可以先迁移一部分敏感度低...
迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库...
节点之间的时钟不同步，或者电脑终端和服务器之间的时钟不同步，均可能导致延迟时间（增量同步/反向增量）不准确。例如，如果时钟早于标准时间，可能导致延迟时间为负数。如果时钟晚于标准时间，可能会导致延迟。请确认数据传输对 DECIMAL...
设置增量同步位点
根据提示继续完成配置至 迁移选项/同步选项 页面，在 增量同步起始位点 区域，请指定同步某个时间节点之后的数据，默认为当前系统时间。说明 根据您选择的迁移/同步类型，该页面会显示不同的参数配置。此处主要为您介绍增量同步起始位点，...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
背景信息 在数据传输控制台创建从 OceanBase 数据库 Oracle 租户迁移数据至 Oracle 数据库的数据迁移项目，您可以通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至 Oracle 数据库。同时，数据传输支持将...
实时同步任务延迟解决方案
确认造成延迟问题的系统是否有异常 当确认了延迟瓶颈是在同步任务的读端还是写端后，可在上述任务 运行详情 中切换至 日志 页签，使用 Error/error/Exception/exception/OutOfMemory 等关键字搜索，查看在延迟时间段内是否有类似下图所示的...
通过整库迁移配置集成任务
每日同步+单次同步：系统将同时生成每日调度的周期任务和手动任务，通常用于单次全量后每日增量或全量的数据同步场景。说明 来源库为FTP时，不支持 每日同步+单次同步。目标表创建为 选择创建的目标表类型。包括分区表和非分区表。不同的...
DM（达梦）数据源
数据同步系统会启动并发任务进行数据同步，以提高数据同步的效能：推荐 splitPk 用户使用表主键，因为表主键通常情况下比较均匀，切分出来的分片也不容易出现数据热点。目前 splitPk 仅支持整型数据切分，不支持浮点、字符串和日期等其他...
同步增量数据到OSS
如果需要将表格存储中新增和变化的数据定期同步到OSS中备份或者使用，您可以通过在DataWorks数据集成控制台新建和配置离线同步任务来实现周期性增量数据同步。注意事项 此功能适用于 表格存储 宽表模型和时序模型。宽表模型：导出 表格存储...
迁移或同步指定时间段内的数据
实时数据复制 重要 实时数据复制是通过WAL日志（Write-Ahead Log）进行同步的，因此只能同步系统当前日志中的数据，例如设置同步的开始时间为3天前，而WAL日志只涵盖了1天前的数据，那么实时数据复制只能同步1天前的数据。历史数据的同步...
MySQL数据源
MySQL数据源为您提供读取和写入MySQL的双向通道，本文为您介绍DataWorks的MySQL数据同步的能力支持情况。支持的MySQL版本 离线读写：支持MySQL 5.5.x、MySQL 5.6.x、MySQL 5.7.x、MySQL 8.0.x，兼容 Amazon RDS for MySQL、Azure MySQL。离...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
节点之间的时钟不同步，或者电脑终端和服务器之间的时钟不同步，均可能导致延迟时间（增量同步/反向增量）不准确。例如，如果时钟早于标准时间，可能导致延迟时间为负数。如果时钟晚于标准时间，可能导致延迟。由于中国曾经实行夏令时的...
企业微信配置
本文介绍如何进行企业微信配置，配置完成后，阿里云盘企业版 可同步企业微信内的团队结构及用户，用户可使用企业微信方式直接登录 阿里云盘企业版，实现便捷管理网盘内的用户和团队。重要 当前新用户暂不支持对接企业微信，老用户不受影响...
Amazon S3数据源
否 utf-8 nullFormat 文本文件中无法使用标准字符串定义null（空指针），数据同步系统提供 nullFormat 定义哪些字符串可以表示为null。例如，您配置 nullFormat="null"，那么如果源头数据是 null"，数据同步系统会视作null字段。否 无 ...
同步 OceanBase 数据库的数据至 Kafka
如果选择同步类型时未选择 全量同步，但选择了 增量同步，请在此处指定迁移某个时间节点之后的数据，默认为当前系统时间。详情请参见 设置增量同步位点。高级选项 参数 描述 序列化方式 控制数据同步至 Kafka 的消息格式，目前支持 Default...
创建同步MaxCompute
查看同步任务 可以点击对应connector的详情页面查看同步任务的运行状态和点位等信息，包含同步点位、同步状态以及重启和停止等操作，如下图所示：同步示例 1.USER_DEFINE同步模式 建立DataHub Topic 备注：topic schema中必须需要包含...
IoT数据自动化同步至云端解决方案
但同步至大数据系统或传统数据库的数据，需要使用专业的数据同步系统。下图为您展示使用DataWorks数据集成完成OSS数据同步至大数据系统的解决方案流程。新建离线同步节点，详情请参见 通过向导模式配置离线同步任务。选择数据来源OSS进行...
整库离线同步至MaxCompute
整库离线同步方案包括周期性全量同步、周期性增量同步、一次性全量同步、一次性增量同步、一次性全量周期性增量同步。本文以一次性全量周期性增量同步至MaxCompute为例，为您讲解如何将整库数据离线同步至MaxCompute。前提条件 已完成数据...
整库离线同步至MaxCompute
整库离线同步方案包括周期性全量同步、周期性增量同步、一次性全量同步、一次性增量同步、一次性全量周期性增量同步。本文以一次性全量周期性增量同步至MaxCompute为例，为您讲解如何将整库数据离线同步至MaxCompute。前提条件 已完成数据...
平滑扩容
应用停写和路由切换 校验完成后，并且增量依然维持准实时同步，业务选定时间进行切换，为确保数据严格一致，建议应用停服（也可以不停，但可能面临同一条数据高并发写入覆盖问题），引擎层进行分库规则的路由切换，将后续流量转向新库，...
同步 OceanBase 数据库的数据至 DataHub
本文为您介绍如何同步 OceanBase 数据库...如果选择同步类型时未选择 全量同步，但选择了 增量同步，请在此处指定迁移某个时间节点之后的数据，默认为当前系统时间。详情请参见 设置增量同步位点。高级选项 参数 描述 序列化方式 控制数据同步...
通过数据同步功能同步SLS至湖仓版（推荐）
AnalyticDB for MySQL 湖仓版（3.0）支持新建SLS同步链路，通过同步链路从指定时间位点将日志服务LogStore中的数据实时同步至 湖仓版（3.0），以满足近实时产出、全量历史归档、弹性分析等需求。本文介绍如何添加SLS数据源，新建SLS同步...
通过数据同步功能同步Kafka至湖仓版（推荐）
AnalyticDB for MySQL 湖仓版（3.0）支持新建Kafka同步链路，通过同步链路从指定时间位点，实时同步Kafka中的数据入湖，以满足近实时产出、全量历史归档、弹性分析等需求。本文主要介绍如何添加Kafka数据源，新建Kafka同步链路并启动任务，...
Vertica数据源
Vertica是一款基于列存储的MPP架构的数据库，Vertica...否 无 batchSize 一次性批量提交的记录数大小，该值可以极大减少数据同步系统与Vertica的网络交互次数，并提升整体吞吐量。如果该值设置过大，会导致数据同步运行进程OOM异常。否 1,024
从PolarDB MySQL版同步至云原生数据仓库 AnalyticDB ...
通过数据传输服务DTS（Data Transmission Service），您可以将 PolarDB MySQL版 同步到 云原生数据仓库AnalyticDB MySQL，帮助您快速构建企业内部BI、交互查询、实时报表等系统。前提条件 已创建目标 云原生数据仓库AnalyticDB MySQL 集群...
Amazon Redshift数据源
数据同步系统会启动并发任务进行数据同步，以提高数据同步的效能。否 无 Amazon Redshift Writer脚本Demo与参数说明 Amazon Redshift Writer脚本Demo {"stepType":"redshift",/插件名。parameter":{"postSql":["delete from XXX;...
从RDS同步到云原生数据仓库 AnalyticDB MySQL 版
通过数据传输服务DTS（Data Transmission Service），您可以将 RDS MySQL 或RDS MySQL Serverless 同步到 云原生数据仓库AnalyticDB MySQL，帮助您快速构建企业内部BI、交互查询、实时报表等系统。前提条件 RDS MySQL 或RDS MySQL ...
从PolarDB MySQL版同步至云原生数据仓库AnalyticDB ...
通过数据传输服务DTS（Data Transmission Service），您可以将 PolarDB MySQL版 同步到 云原生数据仓库AnalyticDB MySQL，帮助您快速构建企业内部BI、交互查询、实时报表等系统。前提条件 已创建目标 云原生数据仓库AnalyticDB MySQL 集群...
PolarDB-X 2.0数据源
PolarDB-X 2.0数据源为您提供读取和写入PolarDB-X 2.0的双向...否 无 batchSize 一次性批量提交的记录数大小，该值可以极大减少数据同步系统与PolarDB-X 2.0的网络交互次数，并提升整体吞吐量。但是如果该值设置过大，会导致内存溢出。否 256
从RDS同步到云原生数据仓库AnalyticDB MySQL
通过数据传输服务DTS（Data Transmission Service），您可以将 RDS MySQL 或RDS MySQL Serverless 同步到 云原生数据仓库AnalyticDB MySQL，帮助您快速构建企业内部BI、交互查询、实时报表等系统。前提条件 RDS MySQL 或RDS MySQL ...
从ECS上的自建SQL Server同步至云原生数据仓库...
数据传输服务DTS（Data Transmission Service）支持将自建SQL Server同步至 云原生数据仓库AnalyticDB PostgreSQL，实现增量数据的实时同步。前提条件 自建SQL Server数据库版本为2008、2008 R2、2012、2014、2016、2017或2019版本。说明 ...
从ECS上的自建SQL Server同步至云原生数据仓库...
数据传输服务DTS（Data Transmission Service）支持将自建SQL Server同步至 云原生数据仓库AnalyticDB PostgreSQL，实现增量数据的实时同步。前提条件 自建SQL Server数据库版本为2008、2008 R2、2012、2014、2016、2017或2019版本。说明 ...
- 产品推荐
- 这些文档可能帮助您