迁移 OceanBase 数据库 Oracle 租户的数据至 Oracle ...
对于无主键且包含 LOB 类型字段的表，反向增量会出现数据质量问题。如果源端字符集为 UTF-8，建议目标端使用兼容源端的字符集（例如，UTF-8、UTF-16 等），避免产生因字符集不兼容导致目标端出现乱码等问题。节点之间的时钟不同步，或者...
迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle...
对于无主键且包含 LOB 类型字段的表，反向增量会出现数据质量问题。数据源标识和用户账号等，在数据传输系统内全局唯一。Oracle 数据库的增量日志解析最大支持 5T/天。Oracle 数据库 11G 及之前版本不支持创建超过 30 个字节的数据库对象。...
提交节点报错：当前节点依赖的父节点输出名不存在
为了避免依赖关系配置错误导致数据出现问题，DataWorks会在提交节点时对表数据血缘关系的输入输出与调度配置的输入输出进行比较，如果不一致会给您提示，详情可参见 提交节点时提示：输入输出和代码血缘分析不匹配。不是DataWorks每天调度...
如何把数据库迁移到RDS
详细信息 数据库迁移过程中，会出现数据库中断或者闪断的情况。如出现闪断的情况，请参见 更多信息。以下是不同数据库迁移到RDS的方法。RDS MySQL版 关于将MySQL数据库迁移到RDS，请参见 从自建MySQL迁移至RDS for MySQL。RDS SQL Server版...
时序引擎版本说明
修复最新值查询在扩容后可能会出现返回多条数据的问题。修复降采样查询中不支持常量折叠计算的问题。修复正则查询降采样数据时间条件不生效的问题。3.4.10 2022年02月28日 新特性 SQL查询语句tags支持通过正则表达式过滤。支持non_negative...
代码解析结果对比
若该节点代码中配置了依赖A表的数据，但未将产出A表数据的节点作为当前节点依赖的上游，则可能会出现A表数据未产出，当前节点便开始执行，最终导致当前节点产出的表数据出现问题。影响示例：本节点产出的表变更 当前节点提交时，与生产环境...
调度依赖配置指引
默认节点的上下游产出表存在强依赖关系（即下游表数据的产出需要依赖上游产出的表数据），因此，任务在配置调度依赖时，需确认是否存在强血缘依赖，即确认当前任务是否会因为上游数据未产出而导致当前任务取数出现问题。若下游节点中表数据...
确认表血缘
导致下游取数出现问题 若当前节点 Job_B 代码中配置了依赖A表的数据，但未将产出A表数据的节点 Job_A 作为当前节点依赖的上游，则可能会出现A表数据未产出，当前节点便开始执行，最终导致 Job_B 节点产出的表数据出现问题。虽然 Job_A 的...
RDS SQL Server迁移至云原生数据仓库 AnalyticDB ...
当超出数量限制，会出现稳定性和性能问题的风险，此时建议您拆分待迁移的表，分批配置任务。如需进行增量迁移，数据日志：需开启，备份模式设置为Full，且已成功执行过全量物理备份。如为增量迁移任务，DTS要求源数据库的数据日志保存24...
RDS SQL Server迁移至云原生数据仓库 AnalyticDB ...
当超出数量限制，会出现稳定性和性能问题的风险，此时建议您拆分待迁移的表，分批配置任务。如需进行增量迁移，数据日志：需开启，备份模式设置为Full，且已成功执行过全量物理备份。如为增量迁移任务，DTS要求源数据库的数据日志保存24...
2023年
修复并发插入数据过程中，会出现误报主键冲突的问题。2023年04月（V2.0.0.2）类别 功能 功能描述 相关文档 缺陷修复 修复实时写入时，执行Flush、Compact以及并发DDL等操作可能出错的问题。2023年03月（V2.0.0.1）类别 功能 功能描述 相关...
强弱依赖治理概述
如果商品详情页对下游依赖是强依赖，例如当下游依赖 库存、优惠、物流 出现故障的时候，将导致业务流程无法推进，会出现类似如下的说明，严重影响用户体验。如果商品详情页对下游依赖是弱依赖，例如当下游依赖 评价、店铺 等系统出现故障的...
依赖关系
避免下游节点取数据时，上游表数据还未正常产出，导致下游节点取数出现问题。DataWorks上如何设置调度依赖？在DataWorks上，上游节点的输出作为下游节点的输入，形成节点依赖关系。说明 SQL任务会以如下方式自动配置节点输入输出：select ...
全球多活使用限制
当操作类型依赖value原始值时，在交换的情况下可能会出现乱序甚至丢失的情况。说明 可能造成类似问题的还有、lpush，lpop、append、sort（store）、del、hdel、incr、xadd 系列等操作。类型不一致 子实例A在1.1时刻收到命令（key->T(hash)...
全球多活使用限制
当操作类型依赖value原始值时，在交换的情况下可能会出现乱序甚至丢失的情况。说明 可能造成类似问题的还有、lpush，lpop、append、sort（store）、del、hdel、incr、xadd 系列等操作。类型不一致 子实例A在1.1时刻收到命令（key->T(hash)...
数据资产定级
局部性质：数据直接或间接用于某些业务线的运营、报告等，如果出现问题会给业务线造成一定的影响或造成工作效率降低。标记为A3。一般性质：数据主要用于日常数据分析，出现问题带来的影响极小。标记为A4。未知性质：无法明确数据的应用场景...
数据资产定级
局部性质：数据直接或间接用于某些业务线的运营、报告等，如果出现问题会给业务线造成一定的影响或造成工作效率降低。标记为A3。一般性质：数据主要用于日常数据分析，出现问题带来的影响极小。标记为A4。未知性质：无法明确数据的应用场景...
补数据
问题现象 补数据选择业务时间昨天和今天，会出现等待时间的情况。产生原因 从平台维度来看，业务时间昨天的数据，今天调度运行。补数据补对应业务时间的数据相当于重新执行了一次对应业务时间的周期实例。如果您需要过滤今天的周期实例，您...
天任务依赖分钟任务最佳实践
为避免出现上述问题，您可以设置数据过滤为 insert_time<${endTime}，每次都进行全量同步，只要有成功的便可同步 endTime 数据。您无需设置自依赖，但会增加数据库的负担。配置作为天任务的ODPS SQL节点。双击ODPS SQL节点，进入该节点的...
更好的云上Cassandra应用实践依赖
另外，Cassandra 需要定期对所有副本进行全量数据修复，否则会出现”幽灵key“等问题，但是修复过程会因为消耗大量系统资源从而影响服务稳定性。而Lindorm由底层的存储组件负责一致性，当您的数据写入时，就会按照您设定的副本数写入，不会...
提交节点时提示：输入输出和代码血缘分析不匹配
可能原因 当代码中SELECT的表与节点的依赖的父节点配置不一致，或代码中INSERT、CREATE的表与节点的本节点的输出不一致时，会出现该提示。以上图为例，说明：您提交的节点代码中有SELECT名称为table2的数据，但是table2并没有配置为节点的...
离线同步数据质量排查
对于数据同步质量（数据条数、数据内容）有相关疑问，在写出端您可以尝试从下列常见情况对照排查：原因 问题描述 解决方案 写出模式选择导致 Writer插件会使用选择的写出模式将源头数据在目标端执行重放，如果源头数据和目标表结构出现数据...
离线模式依赖关系配置
避免下游节点取数据时，上游表数据还未正常产出，导致下游节点取数时出现问题。操作步骤 请参见 离线模式配置入口，进入 离线模式 配置面板。在离线模式配置面板 依赖关系 区域，配置 依赖关系 设置。参数 描述 开始解析 当节点的任务类型...
离线模式依赖关系配置
避免下游节点取数据时，上游表数据还未正常产出，导致下游节点取数时出现问题。操作步骤 请参见 离线模式配置入口，进入 离线模式 配置面板。在离线模式配置面板 依赖关系 区域，配置 依赖关系 设置。参数 描述 开始解析 当节点的任务类型...
权限管理与规范化数据开发
根据表血缘来配置节点调度依赖后，可以保障调度任务在运行时能取到正确的数据，避免下游节点取数据时，上游表数据还未正常产出，导致下游节点取数出现问题。在DataWorks依赖配置中，上游节点的输出作为下游节点的输入，形成节点依赖关系。...
RDS实例间的数据迁移
本文介绍如何使用数据传输服务（Data Transmission Service，简称DTS），实现RDS实例间的数据迁移。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在自建应用不停服的情况下，平滑地完成数据库的迁移。...
RDS实例间数据迁移
本文介绍如何使用数据传输服务（Data Transmission Service，简称DTS），实现RDS实例间的数据迁移。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在自建应用不停服的情况下，平滑地完成数据库的迁移。...
方案概述
切换域名后，可能会存在DNS解析缓存问题，在缓存过期时间内可能会出现连接不上数据库或数据库只支持读操作而无法执行写入操作等情况，建议您刷新一下服务器的DNS缓存。升级评估 为了保证升级链路的顺利和更好的升级体验，PolarDB 提供了...
配置离线任务调度依赖
避免下游节点取数据时，上游表数据还未正常产出，导致下游节点取数时出现问题。操作步骤 请参见 离线任务属性入口，进入离线任务 属性 配置页面。按照下图操作指引，选择您需配置调度依赖的任务，并单击 属性 进入 属性 面板。在 属性 面板...
配置离线任务调度依赖
避免下游节点取数据时，上游表数据还未正常产出，导致下游节点取数时出现问题。操作步骤 请参见 离线任务属性入口，进入离线任务 属性 配置页面。按照下图操作指引，选择您需配置调度依赖的任务，并单击 属性 进入 属性 面板。在 属性 面板...
全增量同步任务运维
强制重跑 在某些特殊情况下，例如发现源端数据被污染、数据链路出现问题等，您可以单击 操作 列 更多>强制重跑 强制对源端所有表进行全增量初始化操作，将源端数据重新迁移到目标表中，以快速恢复数据。说明 仅Hologres和MaxCompute支持...
删除或变更节点输出的影响
若已存在下游依赖，此时删除节点输出（节点产出表数据变更导致节点输出变更，或直接修改了节点输出），可能会导致下游任务产生严重影响（任务不运行或产生数据质量问题）。若产出表数据的节点发生变更，请重新为下游节点设置新的节点依赖。...
2023年
无 缺陷修复 修复智能诊断功能统计表大小时可能会出现数字溢出的问题，现已将统计表大小的列由integer数据类型修改为bigint数据类型。修复分区表UPDATE分布键列时出现 tuple already updated by self 错误信息的问题。修复Master节点不回收...
MySQL实例间的双向同步
UPDATE更新的记录不完全匹配 UPDATE要更新的记录在同步目标实例中不存在时，DTS会自动转化为INSERT，此时可能会出现唯一键的唯一性冲突。UPDATE要更新的记录出现主键或唯一键冲突。DELETE对应的记录不存在 DELETE要删除的记录在同步的目标...
MySQL实例间的双向同步
UPDATE更新的记录不完全匹配 UPDATE要更新的记录在同步目标实例中不存在时，DTS会自动转化为INSERT，此时可能会出现唯一键的唯一性冲突。UPDATE要更新的记录出现主键或唯一键冲突。DELETE对应的记录不存在 DELETE要删除的记录在同步的目标...
RDS MySQL实例间的迁移
待迁移的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如迁移对象为表级别，且需进行编辑（如表列名映射），则单次迁移任务仅支持迁移至多1000张表。当超出数量限制，任务提交后会显示请求报错，...
其他问题
任务执行是按照业务连线的先后顺序执行，即当前一节点运行结束，后一节点才能运行，所以当前一节点运行时间过长，运行结束时间大于后一节点计划执行时间点，这样后一节点就会出现实际运行时间可能和计划的时间不一致。当两个节点的调度周期...
RDS MySQL与PolarDB MySQL版间的双向同步
UPDATE更新的记录不完全匹配 UPDATE要更新的记录在同步目标实例中不存在时，DTS会自动转化为INSERT，此时可能会出现唯一键的唯一性冲突。UPDATE要更新的记录出现主键或唯一键冲突。DELETE对应的记录不存在 DELETE要删除的记录在同步的目标...
从腾讯云MySQL迁移至阿里云
源库、目标库出现其他问题后的重试时间 在迁移任务启动后，若源库或目标库出现非连接性的其他问题（如DDL或DML执行异常），则DTS会报错并会立即进行持续的重试操作，默认持续重试时间为10分钟，您也可以在取值范围（1~1440分钟）内自定义重...
自建PostgreSQL同步至RDS PostgreSQL
注意事项 类型 说明 源库限制 待同步的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。若同步对象为表级别，且需进行编辑（如表列名映射），单次同步任务的表数量超过5000时，建议您拆分待同步的表，...
- 产品推荐
- 这些文档可能帮助您