迁移时源库为PolarDB MySQL版的注意事项及限制
待迁移的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如迁移对象为表级别，且需进行编辑（如表列名映射），则单次迁移任务仅支持迁移至多1000张表。当超出数量限制，任务提交后会显示请求报错，...
创建同步任务
说明 脏数据认定标准：脏数据是对业务没有意义，格式非法或者同步过程中出现问题的数据。单条数据写入目标数据源过程中发生了异常，则此条数据为脏数据。因此只要是写入失败的数据均被归类于脏数据。例如，源端是VARCHAR类型的数据写到INT...
SQL查询
数据源白名单访问控制 当使用数据分析操作MaxCompute表数据时，如果MaxCompute项目空间开启了白名单访问控制，数据分析的相关服务（例如，费用计算、数据下载、维表使用、数据上传等）可能会出现报错。为保证DataWorks数据分析服务能顺利...
2023年
修复并发插入数据过程中，会出现误报主键冲突的问题。2023年04月（V2.0.0.2）类别 功能 功能描述 相关文档 缺陷修复 修复实时写入时，执行Flush、Compact以及并发DDL等操作可能出错的问题。2023年03月（V2.0.0.1）类别 功能 功能描述 相关...
技术面临的挑战与革新
这种类型的架构好处显而易见，数据Sharding的方式让数据存取以及处理可以并行化，计算存储本地化最大化提升了数据读写的带宽以及延时。在过去网络IO还是一大瓶颈的年代，分布式系统设计以及优化的一大原则就是尽量使得计算存储本地化，避免...
确认表血缘
导致下游取数出现问题 若当前节点 Job_B 代码中配置了依赖A表的数据，但未将产出A表数据的节点 Job_A 作为当前节点依赖的上游，则可能会出现A表数据未产出，当前节点便开始执行，最终导致 Job_B 节点产出的表数据出现问题。虽然 Job_A 的...
RDS MariaDB迁移至RDS PostgreSQL
源库、目标库出现其他问题后的重试时间 在迁移任务启动后，若源库或目标库出现非连接性的其他问题（如DDL或DML执行异常），则DTS会报错并会立即进行持续的重试操作，默认持续重试时间为10分钟，您也可以在取值范围（1~1440分钟）内自定义重...
平台安全诊断
DataWorks的平台安全诊断，为您提供了当前DataWorks工作空间与绑定的引擎在数据传输、存储、运算等过程中，与身份认证、访问权限控制、开发模式等功能相关的安全能力，以及诊断相关安全问题的最佳实践，帮助您及时发现平台的安全隐患，在...
PolarDB MySQL版间的单向同步
如果数据同步的源库没有主键或唯一约束，且记录的全字段没有唯一性，可能会出现重复数据。建议源和目标 PolarDB MySQL版 集群的数据库版本保持一致，或者从低版本同步到高版本以保障兼容性。费用说明 同步类型 链路配置费用 库表结构同步和...
从自建MySQL迁移至RDS实例
如果源库中待迁移的表没有主键或唯一约束，且所有字段没有唯一性，可能会导致目标数据库中出现重复数据。对于数据类型为FLOAT或DOUBLE的列，DTS会通过 ROUND(COLUMN,PRECISION)来读取该列的值。如果没有明确定义其精度，DTS对FLOAT的迁移...
从RDS MySQL同步至PolarDB MySQL版
如果数据同步的源库没有主键或唯一约束，且记录的全字段没有唯一性，可能会出现重复数据。费用说明 同步类型 链路配置费用 库表结构同步和全量数据同步 不收费。增量数据同步 收费，详情请参见 计费概述。支持同步的SQL操作 操作类型 SQL...
PolarDB MySQL版间的双向同步
如果数据同步的源集群没有主键或唯一约束，且记录的全字段没有唯一性，可能会出现重复数据。如双向同步任务的源实例或目标实例位于海外地域，则仅支持同地域的双向同步，不支持跨地域的双向同步。例如，支持日本地域间的双向同步，不支持...
从PolarDB MySQL版同步至RDS MySQL
如果数据同步的源库没有主键或唯一约束，且记录的全字段没有唯一性，可能会出现重复数据。目标库为RDS MySQL 或RDS MySQL Serverless 实例时（除5.7和8.0版本外），DTS会在目标库新建一个有写入权限且仅供DTS内部使用的数据同步账号 ...
不同阿里云账号下RDS实例间的数据同步
如果源库中待迁移的表没有主键或唯一约束，且所有字段没有唯一性，可能会导致目标数据库中出现重复数据。全量初始化过程中，并发insert导致目标实例的表碎片，全量初始化完成后，目标实例的表空间比源实例的表空间大。费用说明 同步类型 ...
PolarDB MySQL版间的双向同步
如果数据同步的源集群没有主键或唯一约束，且记录的全字段没有唯一性，可能会出现重复数据。如双向同步任务的源实例或目标实例位于海外地域，则仅支持同地域的双向同步，不支持跨地域的双向同步。例如，支持日本地域间的双向同步，不支持...
云数据库录入
分类分级模板 当开启敏感数据保护时，才会出现分类分级模板的配置项。可通过给实例绑定分类分级模板，识别实例中库表的字段是否符合模板内的识别规则，若符合，则给字段打上分类分级的标签，保护敏感等级高的字段。详细信息，请参见 管理...
从ECS上的自建MySQL同步至PolarDB MySQL版
如果数据同步的源库没有主键或唯一约束，且记录的全字段没有唯一性，可能会出现重复数据。费用说明 同步类型 链路配置费用 库表结构同步和全量数据同步 不收费。增量数据同步 收费，详情请参见 计费概述。支持同步的SQL操作 操作类型 SQL...
从ECS上的自建MySQL同步至RDS
如果源库中待迁移的表没有主键或唯一约束，且所有字段没有唯一性，可能会导致目标数据库中出现重复数据。全量初始化过程中，并发insert导致目标实例的表碎片，全量初始化完成后，目标实例的表空间比源实例的表空间大。目标库为RDS MySQL 或...
不同阿里云账号下RDS实例间的数据同步
如果源库中待迁移的表没有主键或唯一约束，且所有字段没有唯一性，可能会导致目标数据库中出现重复数据。全量初始化过程中，并发insert导致目标实例的表碎片，全量初始化完成后，目标实例的表空间比源实例的表空间大。目标库为RDS MySQL...
常见问题
GDB服务端的数据库小版本会在经过严格测试后发布，用户可以通过图数据库GDB控制台升级内核小版本，GDB实例升级的过程中会出现短时间的连接闪断，用户需要设置程序自动重连，具体升级方法请参见 升级内核小版本。问：图数据库GDB的高可用...
管理内置数据集
您可以在创建集群时自动加载内置数据集，或通过控制台手动加载内置数据集。本文介绍如何加载和删除内置数据集。注意事项 仅 湖仓版（3.0）集群支持加载内置数据集。数据库普通账号没有ADB_SampleData_TPCH数据库的权限，无法加载、使用和...
慢日志
常见问题 Q：为什么会出现慢日志记录的SQL执行完成时间与SQL语句的实际执行时间不同？A：通常情况下是执行SQL语句修改了时区。慢日志记录的SQL执行时间的时区，存在会话级别、数据库级别和系统级别。慢日志时间设置逻辑为：当数据库存在...
云数据库Redis间的迁移
源库单机版Redis迁移到目标库集群版Redis的操作限制：由于集群cluster只允许单个命令操作单个slot，若在源库执行多Key操作时，Key不在同一个slot或涉及多个slot，则会出现报错 CROSSSLOT Keys in request don't hash to the same slot 建议...
通过脚本模式配置离线同步任务
说明 脏数据认定标准：脏数据是对业务没有意义，格式非法或者同步过程中出现问题的数据。单条数据写入目标数据源过程中发生了异常，则此条数据为脏数据。因此只要是写入失败的数据均被归类于脏数据。例如，源端是VARCHAR类型的数据写到INT...
从零开始完成无锁结构变更
数据管理DMS的无锁结构变更功能可以较好地规避因锁表而导致的业务阻塞，以及数据库原生OnlineDDL带来的主备延迟问题。本文以云数据库RDS MySQL举例，引导您快速使用DMS完成无锁结构变更。新增实例并开启无锁结构变更 登录 数据管理DMS 5.0...
跨云账号迁移云数据库Redis实例
源库单机版Redis迁移到目标库集群版Redis的操作限制：由于集群cluster只允许单个命令操作单个slot，若在源库执行多Key操作时，Key不在同一个slot或涉及多个slot，则会出现报错 CROSSSLOT Keys in request don't hash to the same slot 建议...
导入与导出
通过创建MaxCompute外表导入数据时，为什么会出现ErrorCode=ServiceUnavailable,ErrorMessage=Service is temporarily unavailable,Please try again later报错？通过创建MaxCompute外表导入数据时，为什么会出现ErrorCode=Local Error,...
他云/自建数据库录入
RegisterInstance-录入新的数据库实例 常见问题 Q：已将DMS IP地址添加至Azure SQL数据库白名单，但是在DMS控制台进行新增数据库实例操作时，仍然出现如下图的报错信息，该如何解决？A：请您在配置 新增实例 信息时，在数据库账号一栏中填...
自建Oracle迁移至PolarDB-X
DTS支持全量数据迁移以及增量数据迁移，同时使用这两种迁移类型可以实现在自建应用平滑地完成Oracle数据库的数据迁移工作。本文以PolarDB-X 2.0为例，介绍如何使用数据传输服务DTS（Data Transmission Service）将自建Oracle数据库迁移至...
慢日志
常见问题 Q：为什么会出现慢日志记录的SQL执行完成时间与SQL语句的实际执行时间不同？A：通常情况下是执行SQL语句修改了时区。慢日志记录的SQL执行时间的时区，存在会话级别、数据库级别和系统级别。慢日志时间设置逻辑为：当数据库存在...
MySQL实例间的双向同步
同步源数据库 同步目的数据库 RDS MySQL实例 ECS上的自建数据库 通过专线、VPN网关或智能网关接入的自建数据库 通过数据库网关接入的自建数据库 通过云企业网CEN接入的自建数据库 RDS MySQL实例 ECS上的自建数据库 通过专线、VPN网关或智能...
OceanBase 数据库之间的数据迁移
背景信息 您可以在数据传输控制台创建从 OceanBase 数据库迁移数据至 OceanBase 数据库同类型租户的数据迁移项目，通过结构迁移、全量迁移和增量同步，无缝迁移源端数据库中的存量业务数据和增量数据至目标端数据库。前提条件 数据传输已...
查询结果不符合预期的常见原因
Lindorm宽表经常会被应用在大数据链路中，如果写入链路出现问题，则可能导致写入延迟或无法正常写入数据，此时进行数据查询，该行数据还未写入，因此会产生无法查询到数据的情况。如果您在使用中遇到数据写入一段时间后才能查到的情况，...
慢日志
慢日志问题极大地影响数据库的稳定性，当数据库出现负载高、性能抖动等问题时，数据库管理员或开发首先会查看是否有慢日志在执行。数据库自治服务DAS（Database Autonomy Service）支持慢日志分析功能，会统计并分析数据库中执行时间超过...
迁移 RDS PostgreSQL 实例的数据至 OceanBase 数据库 ...
由于 UPDATE 和 DELETE 操作在 RDS PostgreSQL 中不支持 LIMIT 语法，当全列匹配时匹配到多条数据，可能会出现 UPDATE 或 DELETE 数据比目标端多的情况。例如，无主键表 t1 中存在 c1 和 c2 两列，在源端有两条 c1=1 和 c2=2 的数据。当源...
云数据库MongoDB版（副本集架构）间的双向同步
UPDATE更新的记录不完全匹配 UPDATE要更新的记录在同步目标实例中不存在时，DTS会自动转化为INSERT，此时可能会出现唯一键的唯一性冲突。UPDATE要更新的记录出现主键或唯一键冲突。DELETE对应的记录不存在 DELETE要删除的记录在同步的目标...
通过DTS导入数据
DTS支持迁移全量数据及增量数据，您可以通过DTS迁移MySQL数据库（例如自建MySQL、RDS MySQL和PolarDB MySQL）同步或迁移至 云数据库 SelectDB 版，并在 云数据库 SelectDB 版 上完成亚秒级响应海量数据查询、万级高并发点查询以及高吞吐...
常见问题
数据库连接问题 数据同步问题 数据迁移问题 数据订阅问题 其他问题 说明 若您有其他疑问或需求，可以 通过钉钉（钉钉通讯客户端下载地址）进入到DTS客户交流钉钉群（群号：68325004196或68640008972），进行咨询。计费问题 DTS如何计费？...
迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库...
如果源端和目标端的表结构不完全一致，可能会出现数据不一致的情况。目前已知场景如下：用户手动创建表结构时，因超出数据传输的支持范围，可能产生隐式的转换问题导致源端和目标端列的类型不一致。目标端的数据长度小于源端的数据长度时，...
2023年
无 缺陷修复 修复智能诊断功能统计表大小时可能会出现数字溢出的问题，现已将统计表大小的列由integer数据类型修改为bigint数据类型。修复分区表UPDATE分布键列时出现 tuple already updated by self 错误信息的问题。修复Master节点不回收...
- 产品推荐
- 这些文档可能帮助您