CDC问题
全量阶段结束后，再从记录的位点开始读取Binlog中的增量数据。全量阶段时，由于通过SELECT语句查询数据，MySQL服务的查询压力可能会增加。增量阶段时，需要通过Binlog Client连接MySQL读取Binlog，当使用的数据表增加时，可能出现连接数...
DT-PID V2.1.0
计算逻辑原理 DT-PID-v2组件采用增量式PID控制，控制量u离散化描述满足如下 其中，u(k-1)是上一时刻系统的控制量，也可以是初始时刻的外部参考值，为当前时刻控制量增量。DT-PID-v2组件中控制增量有如下形式 其中，为积分系数，为微分系数...
MySQL整库离线同步到OSS
说明 在使用调度参数$bizdate 时，需要包含在 全增量控制 的 周期调度参数配置 中。文件类型：parquet，text，csv，orc。列分隔符：数据的字段分割符号，例如逗号（,）。前缀冲突：在进行数据写入时，若目标对象与待写入对象名称具有相同...
常见问题
在分布式事务服务挂掉的情况下，事务是否能正常回滚？分布式事务的服务端会记录下事务的状态并持久化，即使服务挂掉，在服务重新启动后，事务仍然能够正常回滚。建表时，是否可以使用 SQL 的关键字作为列的名称？不可以，建表时列名不能...
一键实时同步至MaxCompute
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
一键实时同步至MaxCompute
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。同步任务支持的数据源及其配置详情请参见 支持的数据源及同步方案。说明 数据...
常见问题
如果DTS实例只配置了增量同步任务，则DTS只会同步任务启动之后的增量数据，任务启动前的数据不会同步至目标库。建议配置任务时同时勾选 增量同步、库表结构同步 和 全量同步，以保障数据一致性。同步RDS数据库的全量数据时，是否会对源库...
基本概念
发起方 Initiator，分布式事务的发起方负责启动分布式事务，通过调用参与者的服务，将参与者纳入到分布式事务当中，并决定整个分布式事务是提交还是回滚。一个分布式事务有且只能有一个发起方。分组标识 用于在网关上做全局的唯一标识，...
增量迁移源服务器
使用增量迁移可以在自定义的时间间隔内，将源服务器系统产生的增量数据同步至阿里云，有效减少源服务器系统业务暂停时间及最终交割时间。本文介绍增量迁移最佳实践的操作步骤。前提条件 已导入迁移源信息。您可以根据需求选择导入迁移源的...
Saga 模式服务设计
基于 Saga 模式分布式事务的多年实践，本文提供了在 Saga 模式下服务设计的一些最佳实践与经验。服务执行与补偿 判断服务状态 应对隔离性问题 服务执行与补偿 Saga 模式是 SEATA 提供的长事务解决方案。Saga 模式下，分布式事务内存在多个...
索引表在线服务配置
online_keep_version_count：在线服务保存增量索引的 version 数，当在线服务增量索引的 version 数超过此值时，会删除老的增量索引，直到增量索引的 version 数不大于此值。on_disk_flush_realtime_index：是否开启实时落盘，true/false，...
索引表在线服务配置
online_keep_version_count：在线服务保存增量索引的 version 数，当在线服务增量索引的 version 数超过此值时，会删除老的增量索引，直到增量索引的 version 数不大于此值。on_disk_flush_realtime_index：是否开启实时落盘，true/false，...
通道服务概述
通道服务提供了增量、全量、增量加全量三种类型的分布式数据实时消费通道。通过为数据表建立数据通道，您可以简单地实现对表中历史存量和新增数据的消费处理。背景信息 表格存储适合元数据管理、时序数据监控、消息系统等服务应用，这些...
配置任务常见错误码及排查方法
本文介绍了用户在使用控制台或OpenAPI配置任务时系统返回的错误码、出现报错的场景及解决方法。用户配置使用类错误码 错误码 报错场景 原因及解决方法 DTS.Msg.LXCreateOrderError 购买DTS实例时创建订单不成功。原因：未将UID添加至白名单...
Google Cloud SQL for MySQL数据库迁移到阿里云
是否限制增量迁移速率 您也可以根据实际情况，选择是否对增量迁移任务进行限速设置（设置 每秒增量迁移的行数RPS 和 每秒增量迁移的数据量(MB)BPS），以缓解目标库的压力。说明 仅当 迁移类型 选择了 增量迁移 时才可以配置。环境标签 您...
Postgres CDC（公测中）
STRING 8.0.1版本之前为非必填，从8.0.1版本开始为必填 8.0.1版本之前默认值为flink，从8.0.1版本开始无默认值 建议每个表都设置 slot.name 参数，以避免出现 PSQLException:ERROR:replication slot"debezium"is active for PID 974 报错。...
百度智能云云数据库RDS MySQL迁移到阿里云
是否限制增量迁移速率 您也可以根据实际情况，选择是否对增量迁移任务进行限速设置（设置 每秒增量迁移的行数RPS 和 每秒增量迁移的数据量(MB)BPS），以缓解目标库的压力。说明 仅当 迁移类型 选择了 增量迁移 时才可以配置。环境标签 您...
错误码
SDK 集成相关 错误码 错误消息 错误说明 解决方案 DTX-000 dtx component scanner init error.SDK 启动失败，分布式事务不可用。DTX-001 Bean[%s]can not have@DtxTransaction and@TccBusinessAction both.同一个 bean 不能既有@...
使用DTS将华为云分布式缓存服务Redis迁移至阿里云
使用数据传输服务（DTS），您可以将数据从华为云分布式缓存服务Redis迁移至阿里云云数据库Redis版。前提条件 华为云Redis实例的引擎版本为Redis 3.0。源数据库实例类型为单机版。源数据库实例支持公网连接。已创建阿里云Redis实例，相关...
MyBase SQL Server迁移至RDS SQL Server
增量迁移 DTS在全量迁移的基础上，将源库的增量更新数据迁移到目标库中。通过增量数据迁移可以实现在自建应用不停机的情况下，平滑地完成数据迁移。支持增量迁移的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE 说明 不支持...
OSS违规检测
OSS违规检测的增量扫描功能，只能配置一个回调方案，但是OSS存量扫描可以创建多个任务，每个任务能够检测不同Bucket。更多信息，请参见 创建存量扫描任务。将内容安全OSS违规检测的冻结阈值调高，重新扫描能否对原先已冻结的图片进行解冻？...
跨阿里云账号迁移RDS实例
否，适配gh-ost：不迁移Online DDL变更产生的临时表数据，只迁移源库使用gh-ost执行的原始DDL数据，同时您可以使用默认的或者自行配置gh-ost影子表和无用表的正则表达式。说明 该方案会导致目标库锁表。是否迁移账号 本示例选择为 否。源库...
通过脚本模式配置离线同步任务
当您需要实现更精细化的配置管理时，您可以使用脚本模式配置离线同步任务，通过编写数据同步的JSON脚本并结合DataWorks调度参数使用，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务...
RDS SQL Server迁移至云原生数据仓库 AnalyticDB ...
增量迁移 DTS在全量迁移的基础上，将源库的增量更新数据迁移到目标库中。通过增量数据迁移可以实现在自建应用不停机的情况下，平滑地完成数据迁移。支持增量迁移的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE DDL CREATE ...
RDS SQL Server实例间的迁移
增量迁移 DTS在全量迁移的基础上，将源库的增量更新数据迁移到目标库中。通过增量数据迁移可以实现在自建应用不停服的情况下，平滑地完成数据迁移。支持增量迁移的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE 说明 不支持...
PolarDB-X 2.0同步至MaxCompute
是否限制增量同步速率 您也可以根据实际情况，选择是否对增量同步任务进行限速设置（设置 每秒增量同步的行数RPS 和 每秒增量同步的数据量(MB)BPS），以缓解目标库的压力。环境标签 您可以根据实际情况，选择用于标识实例的环境标签。本...
设置列索引的排序键
增量数据排序流程 增量数据的排序流程是渐进式的，不能保证数据完全有序。总体流程如下：将所有的数据块进行两两分组，挑选出多个数据范围重合度较高的数据块组。将每个数据块组进行归并排序，生成两个有序的数据块。重复执行步骤2，直到...
RDS SQL Server迁移至云原生数据仓库 AnalyticDB ...
增量迁移 DTS在全量迁移的基础上，将源库的增量更新数据迁移到目标库中。通过增量数据迁移可以实现在自建应用不停机的情况下，平滑地完成数据迁移。支持增量迁移的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE 说明 不支持...
RDS SQL Server迁移至云原生数据仓库 AnalyticDB ...
增量迁移 DTS在全量迁移的基础上，将源库的增量更新数据迁移到目标库中。通过增量数据迁移可以实现在自建应用不停机的情况下，平滑地完成数据迁移。支持增量迁移的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE 说明 不支持...
自建SQL Server迁移至RDS SQL Server
增量迁移 DTS在全量迁移的基础上，将源库的增量更新数据迁移到目标库中。通过增量数据迁移可以实现在自建应用不停机的情况下，平滑地完成数据迁移。支持增量迁移的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE 说明 不支持...
PolarDB-X 1.0迁移至PolarDB-X 2.0
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将 PolarDB分布式版 1.0迁移至 PolarDB分布式版 2.0实例。前提条件 已创建源 PolarDB分布式版 1.0和目标实例 PolarDB分布式版 2.0，且兼容MySQL 5.7版本。更多信息，请参见...
常见问题
迁移失败常见问题 如果迁移文件失败，建议您先查看迁移失败日志，确认失败的原因。您可以在解决这些问题后使用 retry 命令进行重试。迁移失败日志的路径为 master/jobs/${JobName}/failed_tasks/${TaskName}/audit.log。使用 stat 命令查看...
自建SQL Server迁移至AnalyticDB for PostgreSQL
增量迁移 DTS在全量迁移的基础上，将源库的增量更新数据迁移到目标库中。通过增量数据迁移可以实现在自建应用不停机的情况下，平滑地完成数据迁移。支持增量迁移的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE DDL CREATE ...
ossimport概述
该工具简单方便，通过-u，-update 和-snapshot-path 选项还可以实现文件的增量迁移，详细说明请参见 cp。运行环境 ossimport可以部署在Linux或Windows系统上，要求如下：Windows7及以上版本 CentOS 6或者CentOS 7 Java 7或者Java 8 重要 ...
数据引入层（ODS）
缓慢变化维度 MaxCompute不推荐使用代理键，推荐使用自然键作为维度主键，主要原因有两点：MaxCompute是分布式计算引擎，生成全局唯一的代理键工作量非常大。当遇到大数据量情况下，这项工作就会更加复杂，且没有必要。使用代理键会增加ETL...
数据引入层（ODS）
缓慢变化维度 MaxCompute不推荐使用代理键，推荐使用自然键作为维度主键，主要原因有两点：MaxCompute是分布式计算引擎，生成全局唯一的代理键工作量非常大。当遇到大数据量情况下，这项工作就会更加复杂，且没有必要。使用代理键会增加ETL...
2021年
您可以在 云原生数据仓库AnalyticDB PostgreSQL版 控制台将实例升级至最新发布的小版本。升级小版本的具体操作，请参见 版本升级。2021年12月06日（V6.3.6.1）类别 功能 功能描述 相关文档 新增 物化视图 新增物化视图自动查询改写功能，...
DLA Lakehouse实时入湖
在Lakehouse技术中，⾮常关键的技术就是多版本的⽂件管理协议，它提供⼊湖和分析过程中的增量数据实时写⼊、ACID事务和多版本、小⽂件⾃动合并优化、元信息校验和⾃动进化、⾼效的列式分析格式、⾼效的索引优化、超⼤分区表存储等能⼒。...
PolarDB-X 1.0迁移至DataHub
增量迁移 DTS在全量迁移的基础上，将源库的增量更新数据迁移到目标库中。通过增量数据迁移可以实现在自建应用不停机的情况下，平滑地完成数据迁移。支持增量迁移的SQL操作 操作类型 SQL操作语句 DML INSERT、UPDATE、DELETE DDL ADD COLUMN...
一键实时同步至DataHub
一键实时同步至DataHub方案支持全增量一体化同步，先进行全量数据迁移，然后再实时同步增量数据至目标端。本文为您介绍如何创建一键实时同步至DataHub任务。前提条件 已完成数据源配置。您需要在数据集成同步任务配置前，配置好您需要同步...
- 产品推荐
- 这些文档可能帮助您