同步时源库为SQL Server的注意事项及限制
如为增量同步任务，DTS要求源数据库的数据日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量同步完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志而导致...
原理架构
增量同步：负责将源端的增量数据同步到目的端，主要包含 Store 和 JDBCWriter 两个组件。存储：采集源端 DB 的变更到本地存储，支持 MySQL、Oracel、OceanBase 等多种数据库的变更采集；不同的源数据库类型有不同的存储系统。目标端 Writer...
查看数据迁移项目的详情
开启监控告警的情况下：如果数据迁移项目的增量同步延时大于配置的告警时间，增量同步步骤始终处于运行中，系统不会触发告警信息。如果数据迁移项目的增量同步延时小于等于配置的告警时间，增量同步步骤的状态由运行中切换为监控中。增量...
AnalyticalStoreSyncStat
分析存储同步状态。数据结构 message AnalyticalStoreSyncStat { optional ...SYNC_TYPE_INCR：增量同步状态。current_sync_timestamp int64 最新同步数据的时间戳。单位为秒。相关操作 DescribeTimeseriesAnalyticalStore
整库离线同步至MaxCompute
整库离线同步方案包括周期性全量同步、周期性增量同步、一次性全量同步、一次性增量同步、一次性全量周期性增量同步。本文以一次性全量周期性增量同步至MaxCompute为例，为您讲解如何将整库数据离线同步至MaxCompute。前提条件 已完成数据...
数据集成概述
全增量同步任务简介 实际业务场景下，数据同步通常不能通过一个或多个简单离线同步或者实时同步任务完成，而是由多个 离线同步、实时同步 和 数据处理 等任务组合完成，这就会导致数据同步场景下的配置复杂度非常高。为了解决上述问题，...
概述
增量同步 同步表格存储增量数据到MaxCompute。具体操作，请参见 增量同步。增量数据同步到MaxCompute后，您可以在MaxCompute中使用merge_udf.jar包将表格存储的增量数据转换为全量数据格式。具体操作，请参见 将表格存储的增量数据转换为全...
整库离线同步至Elasticsearch
整库离线同步方案包括周期性全量同步、周期性增量同步、一次性全量同步、一次性增量同步、一次性全量周期性增量同步。本文以一次性全量周期性增量同步至Elasticsearch为例，为您讲解如何将整库数据离线同步至Elasticsearch。前提条件 已...
TimeseriesAnalyticalStore
全量同步或者增量同步。} 名称 类型 描述 store_name string 分析存储名称。time_to_live int32 分析存储数据保留时间。取值必须大于等于2592000秒（即30天）或者必须为-1（数据永不过期）。sync_option AnalyticalStoreSyncType 分析存储...
使用DTS增量同步数据时出现“Invalidate value”报错
问题描述 使用DTS增量同步数据时，出现以下报错。DTS-077100:Record Replicator error in XXX.cause by[java.sql.SQLException:[15018,2020022500033819216812025003453844378](Column=>TB_LOAN_PERSON.BIRTHDAY),Invalidate value=>0000-...
同步时源库为PolarDB MySQL版的注意事项及限制
如为全量同步和增量同步任务，DTS要求源数据库的本地Binlog日志至少保留7天以上（您可在全量同步完成后将Binlog保存时间设置为24小时以上），否则DTS可能因无法获取Binlog而导致任务失败，极端情况下甚至可能会导致数据不一致或丢失。...
创建 OceanBase Serverless 实例用户及授权
表分类 结构迁移 全量迁移 增量同步 DML 增量同步 DDL 全量校验 反向增量 有主键表、有非空唯一键表 只读 只读 只读 只读 只读 仅 DDL（仅同步 DDL）仅 DML（仅同步 DML）读写（同步 DDL+DML）无主键表、无非空唯一键表 只读 只读 需要_...
修改告警
包括预检查、结构迁移、全量迁移和增量迁移或增量同步项目启动和运行过程中，出现的全部异常。告警频率 设置发送一次告警的间隔时间，不得低于 60 秒。接收人 设置告警监控信息的接收人，最多可以选择 3 个人。如果下拉列表中没有目标接收...
创建 OceanBase 集群实例用户及授权
表分类 结构迁移 全量迁移 增量同步 DML 增量同步 DDL 全量校验 反向增量 有主键表、有非空唯一键表 只读 只读 只读 只读 只读 仅 DDL（仅同步 DDL）仅 DML（仅同步 DML）读写（同步 DDL+DML）无主键表、无非空唯一键表 只读 只读 需要_...
修改实例参数
sink.batch.enable 增量同步 增量迁移 是否以batch（批量提交）的方式发送数据，取值为：true：是，以batch的方式发送数据。false（默认值）：否，不以batch的方式发送数据。source.filter.ddl.enable 增量同步 增量迁移 是否过滤DDL，取值...
整库离线同步至MaxCompute
整库离线同步方案包括周期性全量同步、周期性增量同步、一次性全量同步、一次性增量同步、一次性全量周期性增量同步。本文以一次性全量周期性增量同步至MaxCompute为例，为您讲解如何将整库数据离线同步至MaxCompute。前提条件 已完成数据...
支持的数据库
全量数据同步 增量数据同步 单向同步 RDS MySQL同步至自建Oracle PolarDB-X 1.0 全量数据同步 增量数据同步 单向同步 从RDS MySQL同步至PolarDB-X PolarDB-X 2.0 库表结构同步 全量数据同步 增量数据同步 单向同步 RDS MySQL同步至PolarDB-...
UpdateProjectConfig-更新项目配置
null RecordTypeWhiteList array 否 有增量同步阶段时，同步的增量数据类型。string 否 有增量同步阶段时，同步的增量数据类型。INSERT SupportDDLTypes array 否 支持的 DDL 类型。string 否 增量传输阶段支持的 DDL 类型。CREATE_TABLE ...
创建反向实例
本文为您介绍在数据库容灾场景使用数据传输服务DTS（Data Transmission Service）一键创建反向增量同步实例的操作步骤。此功能在业务中的应用流程，请参见 使用创建反向任务功能。背景信息 DTS支持为正常运行的同步实例一键创建反向增量...
数据集成侧同步任务配置
背景信息 数据集成基于源端数据库与目标端数据库类型为您提供丰富的数据同步任务，同步类型包括：整库离线同步（一次性全量同步、周期性全量同步、离线全增量同步、一次性增量同步、周期性增量同步）、一键实时同步（一次性全量同步，实时...
CreateProject-创建项目
本接口用于创建数据迁移或数据同步项目。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer...null EnableIncrTransfer boolean 否 是否开启增量同步。true EnableReverseIncrTransfer ...
数据同步方案概览
全量数据同步 DTS将源库中待同步对象的存量数据，全部同步到目标库中，作为后续增量同步数据的基线数据。为简化数据同步的操作，建议在配置数据同步任务时，同时勾选 库表结构同步 和 全量同步。增量数据同步 同步任务固定支持增量数据同步...
增量迁移源服务器
步骤四：完成增量同步 最后一次增量同步任务完成后，完成增量同步。在 迁移任务 页面，找到目标迁移任务。在 操作 列，单击 图标，并单击 完成增量同步。在 完成增量任务 对话框中，单击 确定。您也可以在 完成增量任务 对话框中选中 进行...
我是系统集成商
工业应用数据平台监控数据源的数据变化进行主动式的数据集成，是否支持增量同步 选择为 是：如果数据库是Sqlserver监控增量需要开通Sqlserver CDC服务，首先确保SQL Server Agent（代理服务）已启动；然后激活数据库CDC支持，执行以下SQL：...
同步时源库为PostgreSQL的注意事项及限制
如为增量同步任务，DTS要求源数据库的WAL日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的WAL日志至少保留7天以上（您可在全量同步完成后将WAL日志保存时间设置为24小时以上），否则DTS可能因无法获取WAL日志而导致任务...
同步时源库为PolarDB-X 2.0的注意事项及限制
如为增量同步任务，DTS要求源数据库的本地Binlog日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的本地Binlog日志至少保留7天以上（您可在全量同步完成后将Binlog保存时间设置为24小时以上），否则DTS可能因无法获取...
全增量同步任务常见问题
本文为您介绍全增量同步任务的常见问题及解决方案。文档概述 MySQL一键同步至Hologres中decimal（7，4）数据类型转换成了numeric（38，18），正常吗？一键实时同步至MaxCompute时,分表是否可以同步到同一张表里?一键实时全增量同步任务中，...
功能概览
关键优势 增量同步 支持增量策略，同步任务可以按照预设时间自动运行，增量同步时仅同步变化的文件，大幅提升同步效率。操作简单 云上数据源原生支持，配置简单。性能卓越 优化的数据传输链路，相比传统拷贝工具性能大幅提升。工作原理 您...
设置告警
包括预检查、结构迁移、全量迁移和增量迁移或增量同步项目启动和运行过程中，出现的全部异常。告警频率 设置发送一次告警的间隔时间，不得低于 60 秒。接收人 设置告警监控信息的接收人，最多可以选择 3 个人。如果下拉列表中没有目标接收...
迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
节点之间的时钟不同步，或者电脑终端和服务器之间的时钟不同步，均可能导致延迟时间（增量同步/反向增量）不准确。例如，如果时钟早于标准时间，可能导致延迟时间为负数。如果时钟晚于标准时间，可能导致延迟。支持 Oracle 字符集和 ...
从RDS原生实时同步
批量表大小：指定增量同步并发同步的表数量，一般推荐20张表并发同步，这样可以提升同步性能，如果需要同步大量的表，可以将该参数设置得大一些。监听种类：默认为Insert、Update和Delete。在如下页面，单击 开始同步，启动同步任务。注意 ...
平滑扩容
增量数据同步 完成全量迁移后，基于全量迁移开始之前时间点的增量变更日志进行增量同步，最终原分库和目标分库数据实时同步。数据校验 增量达到准实时同步后，系统自动做全数据校验，并且订正因为同步延迟造成的不一致数据。应用停写和路由...
同步时源库为Oracle的注意事项及限制
说明 如为增量同步任务，DTS要求源数据库的Redo Log和Archive Log保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的Redo Log和Archive Log至少保留7天以上（您可在全量同步完成后将Redo Log和Archive Log保存时间设置为24...
开通备份恢复
云原生多模数据库 Lindorm 宽表引擎支持数据备份恢复功能，该功能基于数据生态服务中的数据迁移，将数据存储至阿里云对象存储服务OSS（Object Storage Service，简称OSS）中，定期全量备份数据，实时增量同步数据，来满足对数据备份和数据...
同步时源库为PolarDB-X 1.0的注意事项及限制
如为增量同步任务，DTS要求源数据库的本地Binlog日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的本地Binlog日志至少保留7天以上（您可在全量同步完成后将Binlog保存时间设置为24小时以上），否则DTS可能因无法获取...
通过DTS导入数据
是否限制增量同步速率 您也可以根据实际情况，选择是否对增量同步任务进行限速设置（设置 每秒增量同步的行数RPS 和 每秒增量同步的数据量(MB)BPS），以缓解目标库的压力。环境标签 您可以根据实际情况，选择用于标识实例的环境标签。本...
应用场景
通过构建灾备库，使用数据同步服务实时增量同步主库数据以确保主库与灾备库数据的完全一致，当业务中心发生地区故障时，直接将业务流量切换到灾备中心，即可立刻恢复服务。在灾备接管期间，通过反向数据同步，可实现随时切回主库。
新建 TiDB 数据源
增量同步选项设置 Kafka 数据源/Topic Kafka 数据源用于保存 Binlog 及 TiCDC 工具转换的 TiDB 数据增量日志的信息，以便数据传输消费。如果勾选该项，请在下拉列表中选择需要绑定的 Kafka 数据源 及其 Topic。说明 数据传输目前仅支持 VPC...
通过脚本模式配置离线同步任务
通过配置参数您可以：读取端（Reader）操作 说明 配置同步范围 部分插件可利用过滤参数实现增量同步，例如，通过MySQL Reader插件同步MySQL数据时，使用MySQL Reader插件的 where 参数结合DataWorks调度参数实现增量同步。关于增量数据同步...
批量操作数据迁移项目
检查完成后，展示当前增量同步延迟时间和增量同步位点。在同步追平停写位点失败的场景下，您可以进行 重试 或 跳过 操作。停止正向同步 停止源端到目标端的增量同步。如果停止失败，您可以进行 重试 或 跳过 操作。执行数据库对象处理 单击...
- 产品推荐
- 这些文档可能帮助您