创建同步ADS
HostADS服务地址，请务必填写 内网地址 以确保服务联通性 导入字段DataHub可以根据用户设置将部分column内容同步到ADS中 写入模式包括IGNORE和OVERWRITE两种模式 IGNORE:忽略重复数据，即 INSERT IGNORE INTO 写入 OVERWRITE:更新重复数据...
创建同步RDS/MySQL/ADS3.0
HostRDS服务地址，请务必填写 内网地址 以确保服务联通性 导入字段DataHub可以根据用户设置将部分column内容同步到RDS表中 写入模式包括IGNORE和OVERWRITE两种模式 IGNORE:忽略重复数据，即 INSERT IGNORE INTO 写入 OVERWRITE:更新重复...
表删除，更新和合并
在这个部分：写入Delta表时的重复数据删除 缓慢将数据（SCD）类型2操作更改为Delta表 将更改数据写入Delta表 使用Upsert 从流式处理查询foreachBatch 写入Delta表时的重复数据删除 一个常见的ETL用例是通过将日志附加到表中来将日志收集到...
DBS沙箱功能概览
背景信息 在海量数据场景下，传统数据库备份服务面临两大越来越严重的困难：存储成本：为了保障数据恢复点目标（Recovery Point Objective，RPO），周期性的全量和增量备份产生大量重复数据，导致存储成本过高。使用成本：您必须待数据完成...
数据归档
任务设置 插入策略：执行数据归档时，忽略重复数据/更新重复数据。限流策略：配置行限流和数据大小限流。备注 可在 备注 文本框中输入不超过 200 个字符的描述信息，该项为选填项。单击 新建，完成新建数据归档。任务生成后可以在 工单>...
管理问题数据
若存在数据不唯一，系统生成的问题数据表会保留该字段的重复数据，即重复的数据就是问题数据。唯一值个数/总行数。唯一值个数与总行数的比率与一个固定值进行比较。空值 空值个数，固定值。取该字段的空值数与固定值进行比较。说明 是否为...
批量上传质量规则
参数 描述 校验结果 可查看校验结果的总条数、校验成功条数、校验失败条数（包括表、字段、数据分类）、重复数据-与线上重复的条数、重复数据-本次上传的重复条数。下载校验结果 支持全量下载本次上传并携带校验结果的文件。存在校验失败 ...
批量上传质量规则
参数 描述 校验结果 可查看校验结果的总条数、校验成功条数、校验失败条数（包括表、字段、数据分类）、重复数据-与线上重复的条数、重复数据-本次上传的重复条数。下载校验结果 支持全量下载本次上传并携带校验结果的文件。存在校验失败 ...
同步时源库为PolarDB-X 2.0的注意事项及限制
PolarDB-X 2.0同步至PolarDB MySQL 类型 说明 源库限制 待同步的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。若同步对象为表级别，且需进行编辑（如表列名映射），单次同步任务的表数量超过5000时...
重复列表
说明 该组件根据配置的数据源展示重复数据的个数。开启分页器后，最多展示个数为 每页数量，列表下方显示 点击加载更多。全部数据加载完，列表底部显示 已经展示全部。在中间画布，双击该组件。在组件编辑页面右侧 样式 栏，设置列表展示...
同步时源库为PolarDB MySQL版的注意事项及限制
具体注意事项及限制如下：类型 说明 源库限制 待同步的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如同步对象为表级别，且需进行编辑（如表列名映射），则单次同步任务仅支持同步至多1000张表。...
同步时源库为Db2 for LUW的注意事项及限制
待同步的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如同步对象为表级别，且需进行编辑（如表列名映射），单次同步任务的表数量超过5000时，建议您拆分待同步的表，分批配置多个任务，或者配置整...
迁移时源库为PolarDB-X 2.0的注意事项及限制
待迁移的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如迁移对象为表级别，且需进行编辑（如表列名映射），则单次迁移任务仅支持迁移至多1000张表。当超出数量限制，任务提交后会显示请求报错，...
迁移时源库为PolarDB MySQL版的注意事项及限制
待迁移的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如迁移对象为表级别，且需进行编辑（如表列名映射），则单次迁移任务仅支持迁移至多1000张表。当超出数量限制，任务提交后会显示请求报错，...
同步时源库为Oracle的注意事项及限制
自建Oracle同步至阿里云消息队列Kafka版或自建Kafka 类型 说明 源库限制 同步对象要求：待同步的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如果您的自建Oracle版本为12c及以上，待同步表的名称...
同步时源库为MySQL的注意事项及限制
MySQL同步至PolarDB MySQL版 MySQL单向同步至PolarDB MySQL版 类型 说明 源库限制 待同步的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如同步对象为表级别，且需进行编辑（如表列名映射），则单...
敏感数据溯源
建议您使用数据量大于500条，并且不包含重复数据的文件进行溯源。原因二：被泄漏的数据非本租户名下的数据。解决方案：您需要确认溯源数据的来源，确保溯源的数据为本租户名下的数据。原因三：被溯源的文件中不包含水印信息。解决方案：您...
同步时源库为PolarDB-X 1.0的注意事项及限制
PolarDB-X 1.0 同步至MySQL或PolarDB MySQL版 类型 说明 源库限制 待同步的表需具备主键或唯一约束（仅具有唯一约束的表不支持库表结构同步，建议使用主键约束），且字段具有唯一性，否则可能会导致目标数据库中出现重复数据；不支持二级...
迁移时源库为MySQL的注意事项及限制
待迁移的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如迁移对象为表级别，且需进行编辑（如表列名映射），则单次迁移任务仅支持迁移至多1000张表。当超出数量限制，任务提交后会显示请求报错，...
迁移时源库为DB2 for LUW的注意事项及限制
待迁移的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如迁移对象为表级别，且需进行编辑（如表列名映射），则单次迁移任务仅支持迁移至多1000张表。当超出数量限制，任务提交后会显示请求报错，...
配置MaxCompute输出
背景信息 写入数据不支持去重，即如果任务重置位点或者Failover后再启动，会导致有重复数据写入。操作步骤 进入 数据开发 页面。登录 DataWorks控制台。在左侧导航栏，单击 工作空间列表。选择工作空间所在地域后，单击相应工作空间后的 ...
迁移时源库为Oracle的注意事项及限制
迁移对象要求：待迁移的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。说明 您也可以使用Oracle中的ROWID作为无主键和唯一约束表的主键。如果您的自建Oracle版本为12c及以上，待迁移表的名称长度需...
DML操作常见问题
如果表数据量较大，如何删除非分区表中的重复数据？执行INSERT操作过程中出现错误，会损坏原有数据吗？不会损坏原有数据。MaxCompute满足原子性，INSERT操作执行成功则更新数据，INSERT操作执行失败则回滚数据。执行INSERT INTO或INSERT ...
同步时源库为MongoDB的注意事项及限制
待同步的集合需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如同步对象为集合级别，且需进行编辑（如集合的名称映射），则单次同步任务仅支持同步至多1000张集合。当超出数量限制，任务提交后会显示...
迁移时源库为MongoDB的注意事项及限制
待迁移的集合需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如迁移对象为集合级别，且需进行编辑（如集合的名称映射），则单次迁移任务仅支持迁移至多1000张集合。当超出数量限制，任务提交后会显示...
应用场景
存储成本低：重复数据删除技术大幅降低您的备份数据存储成本。存储虚拟化技术：不依赖用户生产实例，将直接使用云上资源的沙箱实例，且在沙箱中的读写不会影响到源数据库。异地备份 互联网金融、银行、保险等行业的数据库除同城备份外，...
观远BI连接MaxCompute
如果选择Guan-index，可以设置一个去重主键，去除重复数据。缓存有效周期 手工更新：需要用户在新建卡片后手动进行数据刷新。每天：可以设置每天更新时间点，可以精确到时分级别。每周：可以设置每周几进行更新，可以精确到时分级别。每月...
同步时源库为SQL Server的注意事项及限制
RDS SQL Server同步至DataHub SQL Server间的同步 具体注意事项及限制如下：类型 说明 源库限制 待同步的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。若同步对象为表级别，且需进行编辑（如表列名...
数据质量风险监控
监控重复数据。单击 添加监控规则。输入配置参数。参数 描述 规则名称 请输入规则名称。您可以自定义。强弱 设置为强规则。强弱规则说明如下：如果设置强规则，红色异常报警并阻塞下游任务节点，橙色异常报警不阻塞。如果设置弱规则，红色...
数据质量风险监控
监控重复数据。单击 添加监控规则。输入配置参数。参数 描述 规则名称 请输入规则名称。您可以自定义。强弱 设置为强规则。强弱规则说明如下：如果设置强规则，红色异常报警并阻塞下游任务节点，橙色异常报警不阻塞。如果设置弱规则，红色...
同步时源库为PostgreSQL的注意事项及限制
类型 说明 源库限制 待同步的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。若同步对象为表级别，且需进行编辑（如表列名映射），单次同步任务的表数量超过5000时，建议您拆分待同步的表，分批配置...
迁移时源库为SQL Server的注意事项及限制
待迁移的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。如迁移对象为表级别，且需进行编辑（如表列名映射），则单次迁移任务仅支持迁移至多1000张表。当超出数量限制，任务提交后会显示请求报错，...
迁移时源库为PostgreSQL的注意事项及限制
待迁移的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。待迁移的数据库名称中间不能包含短划线（-），例如dts-testdata。如迁移对象为表级别，且需进行编辑（如表列名映射），则单次迁移任务仅支持...
配置RDS MySQL间的数据集成任务
注意事项 如果源数据库没有主键或唯一约束，且所有字段没有唯一性，可能会导致目标数据库中出现重复数据。功能限制 DTS支持结构迁移的对象为表、视图、触发器、存储过程、存储函数。说明 在结构迁移时，DTS会将视图、存储过程或函数中的 ...
大版本升级常见问题
源实例无主键表校验 源PolarDB集群存在没有主键的表，同步数据后可能会导致目标数据库中出现重复数据。您可以通过在源PolarDB集群上通过高权限账号连接数据库，并执行如下SQL，查询没有主键的表：SELECT t1.table_schema,t1.table_name ...
从RDS MySQL迁移至自建Kafka
如果源数据库没有主键或唯一约束，且所有字段没有唯一性，可能会导致目标数据库中出现重复数据。迁移对象仅支持数据表。费用说明 迁移类型 链路配置费用 公网流量费用 结构迁移和全量数据迁移 不收费。通过公网将数据迁移出阿里云时将收费...
常见问题
Spark查询Hudi数据重复，如何处理？Hive查询Hudi数据重复，如何处理？Spark查询Hudi表分区裁剪不生效？使用Spark的alter table语句时，报错xxx is only supported with v2 tables，如何处理？Spark查询Hudi数据重复，如何处理？问题原因：...
PolarDB MySQL版间的单向同步
如果数据同步的源库没有主键或唯一约束，且记录的全字段没有唯一性，可能会出现重复数据。建议源和目标 PolarDB MySQL版 集群的数据库版本保持一致，或者从低版本同步到高版本以保障兼容性。费用说明 同步类型 链路配置费用 库表结构同步和...
从MaxCompute迁移至RDS MySQL
由于源MaxCompute实例不支持主键约束，在一些异常情况下（如网络异常），DTS会进行任务重试，可能会导致目标RDS实例中该无主键表出现重复数据。DTS在迁移MaxCompute至RDS MySQL时，暂不支持增量数据迁移，即不支持将迁移过程中源库产生的...
常见问题
源实例无主键表校验 源RDS实例存在没有主键的表，同步数据后可能会导致目标数据库中出现重复数据。您可以通过在源RDS实例上通过高权限账号连接数据库，并执行如下SQL，查询没有主键的表：SELECT t1.table_schema,t1.table_name FROM ...
- 产品推荐
- 这些文档可能帮助您