分区表常见问题
PolarDB PostgreSQL版分区表的分区是子表，每个分区是独立的表，PolarDB MySQL版 的分区是InnoDB表，从Server层看每个分区不是独立的表。对 PolarDB MySQL版 的数据表进行分区，性能提升是否明显？对于按照分区键过滤条件进行分区剪枝的...
新建注册上挂指标
建议选择生产数据（即非Dev项目或数据板块产生的数据），以免更新至生产调度运维时，该对象在生产环境不存在导致操作失败，或者导致自动解析依赖关系失败。如您选择生产数据，建议您代码写明该生产数据的项目或数据板块前缀，以免无主键...
我的数据
生命周期 和您创建表时设置的生命周期一致。环境类型 包括 开发 和 生产。存储量 显示您存储的数据量。收藏人次 收藏该表的人次。30天浏览人次 30天内，浏览该表的人次。创建时间 创建该表的时间。操作 您可以在相应表后的操作栏下，进行 ...
新建注册上挂指标
建议选择生产数据（即非Dev项目或数据板块产生的数据），以免更新至生产调度运维时，该对象在生产环境不存在导致操作失败，或者导致自动解析依赖关系失败。如您选择生产数据，建议您代码写明该生产数据的项目或数据板块前缀，以免无主键...
RDS PostgreSQL间的双向同步
在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。例如，有除DTS外的数据写入目标库时，使用DMS执行在线DDL变更，可能引起目标库数据丢失。若为全量同步或增量同步任务，且源数据库中要同步的表包含外...
同步时源库为PolarDB MySQL版的注意事项及限制
在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。例如，有除DTS外的数据写入目标库时，使用DMS执行在线DDL变更，可能引起目标库数据丢失。若目标库的DDL写入失败，DTS任务会继续运行，您需要在任务...
资源角色
表Owner 默认继承数据库Owner，每个表最多可以有三个表Owner。DBA角色、管理员角色用户或原表Owner可对表Owner角色进行编辑调整（转交、释放、新增）。可通过流程主动申请。可对表的权限进行管理，如授予、回收表授权。可直接查询名下表中...
添加自增主键导致主从节点查询数据不一致
问题现象 分别在主从节点上使用同样的自增主键值（自增ID）进行查询，查询结果中的数据不一致。可能原因 当为无主键表添加自增主键时，自增主键的值是按照数据在表中的排列顺序赋值的。在没有主键的情况下，数据在表中的顺序是由存储引擎...
添加自增主键导致主从节点查询数据不一致
问题现象 分别在主从节点上使用同样的自增主键值（自增ID）进行查询，查询结果中的数据不一致。可能原因 当为无主键表添加自增主键时，自增主键的值是按照数据在表中的排列顺序赋值的。在没有主键的情况下，数据在表中的顺序是由存储引擎...
一键实时同步至MaxCompute
NAME_DEST：目的端表名称 TABLE_NAME_SRC：源端表名称 编辑目标表结构 目前 自动建表 生成的MaxCompute表生命周期默认只有30天，并且可能存在字段类型映射，即若目标端数据库中没有与源端一致的数据类型时，同步任务在自动创建目标表时，将...
一键实时同步至MaxCompute
NAME_DEST：目的端表名称 TABLE_NAME_SRC：源端表名称 编辑目标表结构 目前 自动建表 生成的MaxCompute表生命周期默认只有30天，并且可能存在字段类型映射，即若目标端数据库中没有与源端一致的数据类型时，同步任务在自动创建目标表时，将...
新建及管理质量规则模板
说明 识别表达式支持使用函数，但需要注意执行时的数据库需要支持该函数。支持多个字段之间的业务逻辑的校验。如总销售额=单价*销售数量，校验总销售额是否出错可以用${total_sales}=${unit_price}*{sales_volume}。表达式中的${total_...
新建及管理质量规则模板
说明 识别表达式支持使用函数，但需要注意执行时的数据库需要支持该函数。支持多个字段之间的业务逻辑的校验。如总销售额=单价*销售数量，校验总销售额是否出错可以用${total_sales}=${unit_price}*{sales_volume}。表达式中的${total_...
Join优化
表S数据不移动，表R数据根据分区计算的结果发送到S表扫表的节点 Colocation Join 对于多个相关联的表，在建表时确保表的数据分片数量一致，相同Hash分桶在分布式系统中的分布一致，那么实际查询时就可以跳过数据的Shuffle过程，直接进行...
设计阶段
完成需求阶段的工作后，数据产品经理会产出最终版本的产品需求文档，以供设计人员进行设计工作。设计工作包含数据探查和系分设计两部分：数据探查旨在了解来源数据的数据形态，例如数据...DWS层不同集市的数据不能相互引用，必须沉淀到DWD层。
RDS SQL Server迁移至DataHub
警告 选择为 忽略报错并继续执行，可能导致数据不一致，给业务带来风险，例如：表结构一致的情况下，在目标库遇到与源库主键的值相同的记录，则会保留目标库中的该条记录，即源库中的该条记录不会迁移至目标库中。表结构不一致的情况下，...
Phoenix全增量迁移
客户自建的目标表可能会和源表分区很不一致，这可能会导致迁移完成之后，目标表会进行频繁的split、compaction，如果表的数据量十分庞大，可能会导致这个过程非常耗时。如果源表带有 coprocessor,在创建目标表的时候需要确保目标集群包含...
全增量数据同步
客户自建的目标表可能会和源表分区很不一致，这可能会导致迁移完成之后，目标表会进行频繁的split、compaction，如果表的数据量十分庞大，可能会导致这个过程非常耗时。如果源表带有coprocessor,在创建目标表的时候需要确保目标集群包含...
查询结果不符合预期的常见原因
但在实际操作中，即使表的属性被设置成IMMUTABLE，Lindorm也并不会禁止更新和删除行为，但该类操作会造成索引表和主表的数据不一致，进而导致查询命中索引和命中主表的结果不一致。建议您重新构建索引表，并停止更新或删除属性为IMMUTABLE...
离线同步数据质量排查
任务配置并发读取时会切分出多个分片查询SQL，由于数据库事务一致性策略，每个查询SQL查询的都是当前提交时的数据快照，并且多个SQL并不在一个事务上下文内。因此在源头数据变化时会同步不到查询SQL之后的变化。这类原因导致的问题一般是...
源库存在触发器时如何配置同步作业
当您同步任务的对象为整库，且该数据库中包含了会更新库内某个表的触发器（Trigger）时，可能会导致源库和目标库的数据不一致。本文介绍源库存在触发器的情况下如何正确地配置同步作业，以确保数据的一致性和完整性。重要 若您使用的是新版...
数仓分层
基于阿里巴巴OneData方法论最佳实践，在阿里巴巴的数据体系中，建议将数据仓库分为三层：数据引入层（ODS，Operational Data Store）、数据公共层（CDM，Common Dimensions Model）和数据应用层（ADS，Application Data Store）。...
配置ClickHouse输入组件
多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集（INTERSECT）、并集（UNION）和补集（EXCEPT）。表 选择数据同步的来源表：如果 来源表量 选择了 单表，在下拉列表中选择读取数据的表。如果 来源表 选择了 多...
查看数据校验详情
本文介绍如何查看数据传输服务DTS（Data Transmission Service）数据校验任务的详情。前提条件 已创建并配置数据校验任务，详情请...仅当源库发生数据变更且增量数据未被写入目标库，或者写入的数据与源库不一致时，才会校验出不一致数据。
管理问题数据
若存在数据不唯一，系统生成的问题数据表会保留该字段的重复数据，即重复的数据就是问题数据。唯一值个数/总行数。唯一值个数与总行数的比率与一个固定值进行比较。空值 空值个数，固定值。取该字段的空值数与固定值进行比较。说明 是否为...
PolarDB-X 2.0间的双向同步
在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。双向同步实例包含正向和反向同步任务，在配置或重置双向同步实例时，若其中一个任务的目标对象是另一个任务待同步的对象：仅允许其中一个任务同步全量...
配置Oracle输入组件
多个表的数据写入同一个数据表时，使用union算法。表 选择数据同步的来源表：如果 来源表量 选择了 单表，在下拉列表中选择读取数据的表。如果 来源表 选择了 多表，则按照下图操作指引，添加读取数据的多个表。在①处配置筛选多表的表达式...
MySQL实例间的双向同步
否则会导致反向任务的数据变更不会被记录到源自建MySQL的Binlog，从而导致其他任务数据不一致。费用说明 同步类型 链路配置费用 库表结构同步和全量数据同步 不收费。增量数据同步 收费，详情请参见 计费概述。支持的冲突检测 为保障同步...
批量创建质量规则
说明 批量配置调度时，需要确保所选资源表的校验范围表达式一致，如果配置的校验范围和表实际校验范围不一致，可能会报错。批量配置调度时，非分区表不会保存校验范围表达式，只会保存调度配置。开启：支持批量开启质量规则的对象的生效...
批量创建质量规则
说明 批量配置调度时，需要确保所选资源表的校验范围表达式一致，如果配置的校验范围和表实际校验范围不一致，可能会报错。批量配置调度时，非分区表不会保存校验范围表达式，只会保存调度配置。开启：支持批量开启质量规则的对象的生效...
配置Oracle输入组件
多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集（INTERSECT）、并集（UNION）和补集（EXCEPT）。表 选择数据同步的来源表：如果 来源表量 选择了 单表，在下拉列表中选择读取数据的表。如果 来源表 选择了 多...
配置PolarDB输入组件
多个表的数据写入同一个数据表时，使用union算法。表 选择数据同步的来源表：如果 来源表量 选择了 单表，在下拉列表中选择读取数据的表。如果 来源表 选择了 多表，则按照下图操作指引，添加需要读取数据的多个表。在①处配置筛选多表的...
配置ClickHouse输入组件
多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集（INTERSECT）、并集（UNION）和补集（EXCEPT）。表 选择数据同步的来源表：如果 来源表量 选择了 单表，在下拉列表中选择读取数据的表。如果 来源表 选择了 多...
同步时源库为PolarDB-X 2.0的注意事项及限制
在DTS同步期间，不允许有除DTS外的数据写入目标库，否则会导致源库与目标库数据不一致。例如，有除DTS外的数据写入目标库时，使用DMS执行在线DDL变更，可能引起目标库数据丢失。若目标库的DDL写入失败，DTS任务会继续运行，您需要在任务...
MySQL实例间的双向同步
否则会导致反向任务的数据变更不会被记录到源自建MySQL的Binlog，从而导致其他任务数据不一致。当源库为RDS MySQL时：不支持不记录事务日志的RDS MySQL只读实例（如RDS MySQL 5.6版本）作为源实例。费用说明 同步类型 链路配置费用 库表...
高级应用：实现复杂作业逻辑
说明 MaxCompute的ODPS SQL节点不支持直接写循环或遍历逻辑，您可以使用上述通用节点实现对应的作业逻辑，或您也可以使用PyODPS节点，自定义开发循环或遍历逻辑代码。实现跨节点赋值逻辑的作业 DataWorks为您提供多种实现不同节点间透传...
配置AnalyticDB for PostgreSQL输入组件
多个表的数据写入同一个数据表时，使用union算法。表 选择数据同步的来源表：如果 来源表量 选择了 单表，在下拉列表中选择读取数据的表。如果 来源表 选择了 多表，则按照下图操作指引，添加读取数据的多个表。在①处配置筛选多表的表达式...
生成测试数据
ODC 支持如下处理方式：忽略：默认为忽略，若数据有冲突则冲突数据不被插入。覆盖：若数据有冲突则删除原数据插入新数据。终止：若数据有冲突则停止生成数据终止整个模拟数据任务。规则设置 设置数据生成规则。在 规则 和 细则 列中对选择...
操作流程
通过云计算资源 将已存在数据库中的数据表，通过云计算资源扫描方式，导入 数据资源平台 系统，实现逆向创建逻辑表。具体操作，请参见 通过云计算资源导入逻辑表。通过Excel导入 将Excel表里的逻辑表表名、字段信息、所属层级、关联信息...
配置AnalyticDB for PostgreSQL输入组件
多个表的数据写入同一个数据表时，使用union算法。更多union说明，请参见 交集（INTERSECT）、并集（UNION）和补集（EXCEPT）。表 选择数据同步的来源表：如果 来源表量 选择了 单表，在下拉列表中选择读取数据的表。如果 来源表 选择了 多...
- 产品推荐
- 这些文档可能帮助您