离线同步写入MongoDB数据
业务主键：指定了每行记录的业务主键，用来做覆盖时使用（不支持配置为多个业务主键，通常指Mongo中的主键）。说明 当 写入模式 设置为 是，且将非_id字段配置为业务主键，任务运行时可能会出现类似以下的报错：After applying the update,...
Saga 模式服务设计
大致场景如下：针对该问题，在服务设计时，需要允许空补偿，即在没有找到要补偿的业务主键时，返回补偿成功，并将原业务主键记录下来，标记该业务流水已补偿成功。服务防悬挂控制 悬挂，指的是补偿服务比原服务先执行。大致场景如下：此时...
数据治理
参数 规则（表行数不为0）规则（业务主键唯一）规则名称 表行数不为0 业务主键唯一 强弱 强 强 动态阈值 否 否 规则来源 内置模板 内置模板 规则字段 表级规则（table）id(bigint)规则模板 表行数，固定值 重复值个数，固定值 比较方式 ...
配置Elasticsearch输出
说明 选择_id主键取值方式，但却没有为该Elasticsearch主键映射源端字段，即选择业务主键取值方式但源端不存在主键，选择联合主键取值方式后未配置主键列，此时主键设置的取值方式不生效，同步时将随机生成_id值，此操作可能会带来数据重复...
分布式序列
数据访问代理提供了生成分布式环境下的分布式唯一序列（Sequence）的能力，该序列有全局唯一、全局递增的特性，常用于分库分表下的主键、业务主键生成的场景。重要 数据访问代理分布式序列功能是基于数据库实现，如果需要使用该功能，需要...
线上问题定位与排查
为了便于线上问题排查，强烈建议您配置上传业务主键。这样，您可以通过“业务键+时间”的方式快速定位遇到问题的用户所关联的滑动验证请求。如果未配置上传业务键，您可能需要引导用户进行抓包才能定位到具体的日志和请求。您可以选择以下...
配置数据质量监控
配置ods_user_info_d质量监控规则 表ods_user_info_d用于接收从RDS MySQL同步过来的用户基本信息，基于该表业务属性，我们分别为其配置 表行数非0 和 业务主键唯一性 校验，并通过关联调度节点的方式，触发该表数据质量规则执行。...
需求分析
ads_user_info_1d 对每日用户数据进行表行数波动监测（弱规则）及业务主键唯一性校验（强规则），以此观察每日UV的波动，以便及时了解应用动态。数据可视化阶段 ads_user_info_1d 通过DataWorks数据分析对用户画像数据进行可视化与分析展示...
需求分析
ads_user_info_1d 对每日用户数据进行表行数波动监测（弱规则）及业务主键唯一性校验（强规则），以此观察每日UV的波动，以便及时了解应用动态。数据可视化阶段 ads_user_info_1d 通过DataWorks数据分析对用户画像数据进行可视化与分析展示...
数据同步拓扑介绍
拓扑类型 拓扑图 说明 一对一双向同步 为保障同步数据的一致性，您需要确保同一个主键、业务主键、唯一键的记录只在一个实例中更新。说明 如果同时更新则会按照您在数据同步作业中配置的冲突修复策略进行响应。相关文档 DTS数据同步方案...
从PolarDB MySQL版同步至Elasticsearch
业务主键 如果选择为 业务主键，那么您还需要设置对应的 业务主键列。添加参数 选择所需的 字段参数 和 字段参数值，字段参数及取值介绍请参见 Elasticsearch官方文档。说明 DTS目前仅支持可以选中的参数。上述配置完成后，单击页面右下角...
配置数据质量监控
配置ods_user_info_d质量监控规则 表ods_user_info_d用于接收从RDS MySQL同步过来的用户基本信息，基于该表业务属性，我们分别为其配置 表行数非0 和 业务主键唯一性 校验，并通过关联调度节点的方式，触发该表数据质量规则执行。...
基于MaxCompute实现拉链表
节点间的依赖关系，如下图所示：ods_order_di 表数据：交易下单源表，包含业务主键订单ID和需要追踪变化的订单状态status字段，用于存放每日新增交易下单数据。在 ods_order_di 节点编辑页面，需要将以下 ods_order.csv 测试数据，存储在 ...
从ECS上的自建MySQL同步至Elasticsearch
业务主键 如果选择为 业务主键，那么您还需要设置对应的 业务主键列。添加参数 选择所需的 字段参数 和 字段参数值，字段参数及取值介绍请参见 Elasticsearch官方文档。说明 DTS目前仅支持可以选中的参数。上述配置完成后，单击页面右下角...
表格数据管理
BUSINESS_KEY：业务主键，外部数据库对接唯一标识。该列跟外部数据库对接时作为唯一标示，需要保证值唯一；每个表格，只能有1列是BUSINESS_KEY；业务主键不参与问答。说明 主属性是表格中最为重要的属性，其它属性均是 对主属性内容的描述...
PolarDB MySQL版间的双向同步
在使用双向同步时，您需要在业务层面配合进行相应的改造，保证同一个主键、业务主键或唯一键的记录只在双向同步的某个节点进行更新。对于上述数据同步的冲突，DTS提供了修复策略，您可以在配置双向同步时选择。操作步骤 购买数据同步作业，...
PolarDB MySQL版间的双向同步
在使用双向同步时，您需要在业务层面配合进行相应的改造，保证同一个主键、业务主键或唯一键的记录只在双向同步的某个节点进行更新。对于上述数据同步的冲突，DTS提供了修复策略，您可以在配置双向同步时选择。操作步骤 购买数据同步作业，...
通过DTS将MySQL数据实时同步到阿里云Elasticsearch
业务主键 如果选择为 业务主键，那么您还需要设置对应的 业务主键列。配置完成后，根据页面提示保存任务、进行预检查、购买并启动任务。购买成功后，同步任务正式开始，您可在数据同步界面查看具体任务进度。待全量同步完成，增量同步进行...
PolarDB MySQL版迁移至Elasticsearch
业务主键 如果选择为 业务主键，那么您还需要设置对应的 业务主键列。上述配置完成后，单击页面下方的 下一步保存任务并预检查。您可以将鼠标光标移动至 下一步保存任务并预检查 按钮上，然后单击气泡中的 预览OpenAPI参数，查看调用API...
通过DTS将PolarDB MySQL数据同步至阿里云Elastic...
业务主键 如果选择为 业务主键，那么您还需要设置对应的 业务主键列。配置完成后，根据页面提示保存任务、进行预检查、购买并启动任务。购买成功后，同步任务正式开始，您可在数据同步界面查看具体任务进度。待全量同步完成，增量同步进行...
PolarDB-X 2.0同步至Elasticsearch
业务主键 如果选择为 业务主键，那么您还需要设置对应的 业务主键列。保存任务并进行预检查。若您需要查看调用API接口配置该实例时的参数信息，请将鼠标光标移动至 下一步保存任务并预检查 按钮上，然后单击气泡中的 预览OpenAPI参数...
PolarDB-X 2.0迁移至Elasticsearch
警告 选择为 忽略报错并继续执行，可能导致数据不一致，给业务带来风险，例如：表结构一致的情况下，在目标库遇到与源库主键的值相同的记录，则会保留目标库中的该条记录，即源库中的该条记录不会迁移至目标库中。表结构不一致的情况下，...
MySQL实例间的双向同步
支持的冲突检测 为保障同步数据的一致性，您需要确保同一个主键、业务主键或唯一键的记录只在双向同步的一个节点进行更新。如果同时更新则会按照您在数据同步作业中配置的冲突修复策略进行响应。DTS通过冲突检测和修复最大程度地维护双向...
云数据库MongoDB版（副本集架构）间的双向同步
在使用双向同步时，您需要在业务层面配合进行相应的改造，保证同一个主键、业务主键或唯一键的记录只在双向同步的某个节点进行更新。对于上述数据同步的冲突，DTS提供了修复策略，您可以在配置双向同步时选择。任务步骤说明 同步类型 说明 ...
云数据库MongoDB版（副本集架构）间的双向同步
在使用双向同步时，您需要在业务层面配合进行相应的改造，保证同一个主键、业务主键或唯一键的记录只在双向同步的某个节点进行更新。对于上述数据同步的冲突，DTS提供了修复策略，您可以在配置双向同步时选择。任务步骤说明 同步类型 说明 ...
RDS PostgreSQL间的双向同步
在使用双向同步时，您需要在业务层面配合进行相应的改造，保证同一个主键、业务主键或唯一键的记录只在双向同步的某个节点进行更新。对于上述数据同步的冲突，DTS提供了修复策略，您可以在配置双向同步时选择。支持同步的SQL操作 操作类型 ...
云数据库MongoDB版（分片集群架构）间的双向同步
在使用双向同步时，您需要在业务层面配合进行相应的改造，保证同一个主键、业务主键或唯一键的记录只在双向同步的某个节点进行更新。对于上述数据同步的冲突，DTS提供了修复策略，您可以在配置双向同步时选择。任务步骤说明 同步类型 说明 ...
云数据库MongoDB版（分片集群架构）间的双向同步
在使用双向同步时，您需要在业务层面配合进行相应的改造，保证同一个主键、业务主键或唯一键的记录只在双向同步的某个节点进行更新。对于上述数据同步的冲突，DTS提供了修复策略，您可以在配置双向同步时选择。任务步骤说明 同步类型 说明 ...
RDS PostgreSQL间的双向同步
在使用双向同步时，您需要在业务层面配合进行相应的改造，保证同一个主键、业务主键或唯一键的记录只在双向同步的某个节点进行更新。对于上述数据同步的冲突，DTS提供了修复策略，您可以在配置双向同步时选择。支持同步的SQL操作 操作类型 ...
PolarDB PostgreSQL版（兼容Oracle）集群间的双向同步
在使用双向同步时，您需要在业务层面配合进行相应的改造，保证同一个主键、业务主键或唯一键的记录只在双向同步的某个节点进行更新。对于上述数据同步的冲突，DTS提供了修复策略，您可以在配置双向同步时选择。支持同步的SQL操作 操作类型 ...
MySQL实例间的双向同步
在使用双向同步时，您需要在业务层面配合进行相应的改造，保证同一个主键、业务主键或唯一键的记录只在双向同步的某个节点进行更新。对于上述数据同步的冲突，DTS提供了修复策略，您可以在配置双向同步时选择。支持同步的SQL 操作类型 SQL...
RDS MySQL与PolarDB MySQL版间的双向同步
在使用双向同步时，您需要在业务层面配合进行相应的改造，保证同一个主键、业务主键或唯一键的记录只在双向同步的某个节点进行更新。对于上述数据同步的冲突，DTS提供了修复策略，您可以在配置双向同步时选择。支持的同步架构 DTS支持RDS ...
MySQL实例间的双向同步
在使用双向同步时，您需要在业务层面配合进行相应的改造，保证同一个主键、业务主键或唯一键的记录只在双向同步的某个节点进行更新。对于上述数据同步的冲突，DTS提供了修复策略，您可以在配置双向同步时选择。支持同步的SQL 操作类型 SQL...
维度建模
修饰词类型 英文缩写 英文名称 中文名称 业务口径 描述 数仓分层 普通业务修饰词 00s 00s 00后 00后-普通业务修饰词 90s 90s 90后 90后-普通业务修饰词 80s 80s 80后 80后-普通业务修饰词 70s 70s 70后 70后-普通业务修饰词 men men 男性...
RDS MySQL只读实例同步延迟原因与处理
特殊情况 可直接对无主键业务表添加显式主键即可。常见问题 Q：为什么我的实例中，部分只读实例有1秒延迟的现象？A：每个实例的采集程序、启动时间都不一样，有的实例的采集刻凑巧在刚过整秒的时间点，就会有此现象。其他实例的采集时刻不...
RDS MySQL只读实例同步延迟原因与处理
特殊情况 可直接对无主键业务表添加显式主键即可。常见问题 Q：为什么我的实例中，部分只读实例有1秒延迟的现象？A：每个实例的采集程序、启动时间都不一样，有的实例的采集刻凑巧在刚过整秒的时间点，就会有此现象。其他实例的采集时刻不...
分区设计
主键索引 若主键是自增类型，则主键索引不会对整体性能优化有改善，若主键与业务相关，则可以对最频繁使用的SQL语句的查询条件建立主键索引，这样可以提升性能。辅助索引 其他情况下，如果不能通过将SQL语句拆解成单分区的，且不能利用主键...
创建EMR表
该主键为业务概念，您可以在业务上保证记录的唯一性，DataWorks对主键无约束。编辑 单击已保存字段后的 编辑，修改当前字段的配置，并单击 保存。删除 删除已经创建的字段。说明 已经创建的表，删除字段重新提交时，会要求删除当前表，再去...
索引介绍
采用多列主键主要原因如下：业务常需要多个字段来构成主键，如果只支持一个主键列，业务需要进行拼接，多列主键列避免了业务层做主键拼接和拆解。第一个主键列是分区键，保证了分区键相同的行一定在同一个分区上。分区键可以帮助实现分区内...
创建并使用MaxCompute表
主键 定义表业务主键，由于MaxCompute表本身不支持主键，所以此处主键仅作为业务维度进行管理。提交并发布MaxCompute表 表结构定义完成后，您需将其提交至开发环境与生产环境，提交成功后才可在对应环境的引擎项目查看该表。说明 不同模式...
- 产品推荐
- 这些文档可能帮助您