离线同步写入MongoDB数据
业务主键：指定了每行记录的业务主键，用来做覆盖时使用（不支持配置为多个业务主键，通常指Mongo中的主键）。说明 当 写入模式 设置为 是，且将非_id字段配置为业务主键，任务运行时可能会出现类似以下的报错：After applying the update,...
配置Elasticsearch输出
说明 选择_id主键取值方式，但却没有为该Elasticsearch主键映射源端字段，即选择业务主键取值方式但源端不存在主键，选择联合主键取值方式后未配置主键列，此时主键设置的取值方式不生效，同步时将随机生成_id值，此操作可能会带来数据重复...
数据治理
参数 规则（表行数不为0）规则（业务主键唯一）规则名称 表行数不为0 业务主键唯一 强弱 强 强 动态阈值 否 否 规则来源 内置模板 内置模板 规则字段 表级规则（table）id(bigint)规则模板 表行数，固定值 重复值个数，固定值 比较方式 ...
配置数据质量监控
配置ods_user_info_d质量监控规则 表ods_user_info_d用于接收从RDS MySQL同步过来的用户基本信息，基于该表业务属性，我们分别为其配置 表行数非0 和 业务主键唯一性 校验，并通过关联调度节点的方式，触发该表数据质量规则执行。...
线上问题定位与排查
为了便于线上问题排查，强烈建议您配置上传业务主键。这样，您可以通过“业务键+时间”的方式快速定位遇到问题的用户所关联的滑动验证请求。如果未配置上传业务键，您可能需要引导用户进行抓包才能定位到具体的日志和请求。您可以选择以下...
从PolarDB MySQL版同步至Elasticsearch
业务主键 如果选择为 业务主键，那么您还需要设置对应的 业务主键列。添加参数 选择所需的 字段参数 和 字段参数值，字段参数及取值介绍请参见 Elasticsearch官方文档。说明 DTS目前仅支持可以选中的参数。上述配置完成后，单击页面右下角...
配置数据质量监控
配置ods_user_info_d质量监控规则 表ods_user_info_d用于接收从RDS MySQL同步过来的用户基本信息，基于该表业务属性，我们分别为其配置 表行数非0 和 业务主键唯一性 校验，并通过关联调度节点的方式，触发该表数据质量规则执行。...
需求分析
ads_user_info_1d 对每日用户数据进行表行数波动监测（弱规则）及业务主键唯一性校验（强规则），以此观察每日UV的波动，以便及时了解应用动态。数据可视化阶段 ads_user_info_1d 通过DataWorks数据分析对用户画像数据进行可视化与分析展示...
需求分析
ads_user_info_1d 对每日用户数据进行表行数波动监测（弱规则）及业务主键唯一性校验（强规则），以此观察每日UV的波动，以便及时了解应用动态。数据可视化阶段 ads_user_info_1d 通过DataWorks数据分析对用户画像数据进行可视化与分析展示...
PolarDB MySQL版间的双向同步
在使用双向同步时，您需要在业务层面配合进行相应的改造，保证同一个主键、业务主键或唯一键的记录只在双向同步的某个节点进行更新。对于上述数据同步的冲突，DTS提供了修复策略，您可以在配置双向同步时选择。操作步骤 购买数据同步作业，...
从ECS上的自建MySQL同步至Elasticsearch
业务主键 如果选择为 业务主键，那么您还需要设置对应的 业务主键列。添加参数 选择所需的 字段参数 和 字段参数值，字段参数及取值介绍请参见 Elasticsearch官方文档。说明 DTS目前仅支持可以选中的参数。上述配置完成后，单击页面右下角...
数据同步拓扑介绍
拓扑类型 拓扑图 说明 一对一双向同步 为保障同步数据的一致性，您需要确保同一个主键、业务主键、唯一键的记录只在一个实例中更新。说明 如果同时更新则会按照您在数据同步作业中配置的冲突修复策略进行响应。相关文档 DTS数据同步方案...
PolarDB MySQL版间的双向同步
在使用双向同步时，您需要在业务层面配合进行相应的改造，保证同一个主键、业务主键或唯一键的记录只在双向同步的某个节点进行更新。对于上述数据同步的冲突，DTS提供了修复策略，您可以在配置双向同步时选择。操作步骤 购买数据同步作业，...
PolarDB MySQL版迁移至Elasticsearch
业务主键 如果选择为 业务主键，那么您还需要设置对应的 业务主键列。上述配置完成后，单击页面下方的 下一步保存任务并预检查。您可以将鼠标光标移动至 下一步保存任务并预检查 按钮上，然后单击气泡中的 预览OpenAPI参数，查看调用API...
MySQL实例间的双向同步
支持的冲突检测 为保障同步数据的一致性，您需要确保同一个主键、业务主键或唯一键的记录只在双向同步的一个节点进行更新。如果同时更新则会按照您在数据同步作业中配置的冲突修复策略进行响应。DTS通过冲突检测和修复最大程度地维护双向...
通过DTS将MySQL数据实时同步到阿里云Elasticsearch
业务主键 如果选择为 业务主键，那么您还需要设置对应的 业务主键列。配置完成后，根据页面提示保存任务、进行预检查、购买并启动任务。购买成功后，同步任务正式开始，您可在数据同步界面查看具体任务进度。待全量同步完成，增量同步进行...
PolarDB-X 2.0迁移至Elasticsearch
由于连接重试期间，DTS将收取任务运行费用，建议您根据业务需要自定义重试时间，或者在源和目标库实例释放后尽快释放DTS实例。源库、目标库出现其他问题后的重试时间 在迁移任务启动后，若源库或目标库出现非连接性的其他问题（如DDL或DML...
通过DTS将PolarDB MySQL数据同步至阿里云Elastic...
业务主键 如果选择为 业务主键，那么您还需要设置对应的 业务主键列。配置完成后，根据页面提示保存任务、进行预检查、购买并启动任务。购买成功后，同步任务正式开始，您可在数据同步界面查看具体任务进度。待全量同步完成，增量同步进行...
云数据库MongoDB版（分片集群架构）间的双向同步
在使用双向同步时，您需要在业务层面配合进行相应的改造，保证同一个主键、业务主键或唯一键的记录只在双向同步的某个节点进行更新。对于上述数据同步的冲突，DTS提供了修复策略，您可以在配置双向同步时选择。任务步骤说明 同步类型 说明 ...
云数据库MongoDB版（分片集群架构）间的双向同步
在使用双向同步时，您需要在业务层面配合进行相应的改造，保证同一个主键、业务主键或唯一键的记录只在双向同步的某个节点进行更新。对于上述数据同步的冲突，DTS提供了修复策略，您可以在配置双向同步时选择。任务步骤说明 同步类型 说明 ...
RDS PostgreSQL间的双向同步
在使用双向同步时，您需要在业务层面配合进行相应的改造，保证同一个主键、业务主键或唯一键的记录只在双向同步的某个节点进行更新。对于上述数据同步的冲突，DTS提供了修复策略，您可以在配置双向同步时选择。支持同步的SQL操作 操作类型 ...
RDS PostgreSQL间的双向同步
在使用双向同步时，您需要在业务层面配合进行相应的改造，保证同一个主键、业务主键或唯一键的记录只在双向同步的某个节点进行更新。对于上述数据同步的冲突，DTS提供了修复策略，您可以在配置双向同步时选择。支持同步的SQL操作 操作类型 ...
PolarDB PostgreSQL版（兼容Oracle）集群间的双向同步
在使用双向同步时，您需要在业务层面配合进行相应的改造，保证同一个主键、业务主键或唯一键的记录只在双向同步的某个节点进行更新。对于上述数据同步的冲突，DTS提供了修复策略，您可以在配置双向同步时选择。支持同步的SQL操作 操作类型 ...
MySQL实例间的双向同步
在使用双向同步时，您需要在业务层面配合进行相应的改造，保证同一个主键、业务主键或唯一键的记录只在双向同步的某个节点进行更新。对于上述数据同步的冲突，DTS提供了修复策略，您可以在配置双向同步时选择。支持同步的SQL 操作类型 SQL...
MySQL实例间的双向同步
在使用双向同步时，您需要在业务层面配合进行相应的改造，保证同一个主键、业务主键或唯一键的记录只在双向同步的某个节点进行更新。对于上述数据同步的冲突，DTS提供了修复策略，您可以在配置双向同步时选择。支持同步的SQL 操作类型 SQL...
RDS MySQL与PolarDB MySQL版间的双向同步
在使用双向同步时，您需要在业务层面配合进行相应的改造，保证同一个主键、业务主键或唯一键的记录只在双向同步的某个节点进行更新。对于上述数据同步的冲突，DTS提供了修复策略，您可以在配置双向同步时选择。支持的同步架构 DTS支持RDS ...
维度建模
修饰词类型 英文缩写 英文名称 中文名称 业务口径 描述 数仓分层 普通业务修饰词 00s 00s 00后 00后-普通业务修饰词 90s 90s 90后 90后-普通业务修饰词 80s 80s 80后 80后-普通业务修饰词 70s 70s 70后 70后-普通业务修饰词 men men 男性...
RDS MySQL只读实例同步延迟原因与处理
特殊情况 可直接对无主键业务表添加显式主键即可。常见问题 Q：为什么我的实例中，部分只读实例有1秒延迟的现象？A：每个实例的采集程序、启动时间都不一样，有的实例的采集刻凑巧在刚过整秒的时间点，就会有此现象。其他实例的采集时刻不...
RDS MySQL只读实例同步延迟原因与处理
特殊情况 可直接对无主键业务表添加显式主键即可。常见问题 Q：为什么我的实例中，部分只读实例有1秒延迟的现象？A：每个实例的采集程序、启动时间都不一样，有的实例的采集刻凑巧在刚过整秒的时间点，就会有此现象。其他实例的采集时刻不...
网站耗资源的原因及解决方法
数据库的索引设置问题 一个表至少有一个主键和N个外键，一般主键作为表的唯一标识。当检索数据时，如果以主键的值来进行查找的话效率会比较高，而一些标志性的字段，例如产品表的产品所属分类、用户表的用户等级等，在程序中经常要用到这些...
DDoS高防接入配置最佳实践
业务接入DDoS高防产品后，可以将攻击流量引流到DDoS高防，有效避免业务在遭受大流量DDoS攻击时出现服务不可用的情况，确保源站服务器的稳定可靠。您可以参考本文中的接入配置和防护策略最佳实践，在各类场景中使用DDoS高防更好地保护您的...
按量计费常见问题
建议您根据您网站的一般业务情况预估该网站的QPS峰值，计算WAF可能产生的防护费用。如果已防护的网站遭受攻击导致出现当日网站QPS暴涨的情况，WAF是否会产生巨额的防护费用？为了避免因遭受攻击导致QPS暴涨而产生巨额防护费用的情况，按量...
PolarDB-X 2.0同步至Elasticsearch
业务主键 如果选择为 业务主键，那么您还需要设置对应的 业务主键列。保存任务并进行预检查。若您需要查看调用API接口配置该实例时的参数信息，请将鼠标光标移动至 下一步保存任务并预检查 按钮上，然后单击气泡中的 预览OpenAPI参数...
云数据库MongoDB版（副本集架构）间的双向同步
在使用双向同步时，您需要在业务层面配合进行相应的改造，保证同一个主键、业务主键或唯一键的记录只在双向同步的某个节点进行更新。对于上述数据同步的冲突，DTS提供了修复策略，您可以在配置双向同步时选择。任务步骤说明 同步类型 说明 ...
云数据库MongoDB版（副本集架构）间的双向同步
在使用双向同步时，您需要在业务层面配合进行相应的改造，保证同一个主键、业务主键或唯一键的记录只在双向同步的某个节点进行更新。对于上述数据同步的冲突，DTS提供了修复策略，您可以在配置双向同步时选择。任务步骤说明 同步类型 说明 ...
创建并使用MaxCompute表
主键 定义表业务主键，由于MaxCompute表本身不支持主键，所以此处主键仅作为业务维度进行管理。提交并发布MaxCompute表 表结构定义完成后，您需将其提交至开发环境与生产环境，提交成功后才可在对应环境的引擎项目查看该表。说明 不同模式...
创建并使用MaxCompute表
主键 定义表业务主键，由于MaxCompute表本身不支持主键，所以此处主键仅作为业务维度进行管理。提交并发布MaxCompute表 表结构定义完成后，您需将其提交至开发环境与生产环境，提交成功后才可在对应环境的引擎项目查看该表。说明 不同模式...
分区设计
用户存有海量数据的表应该按照数据规模进行拆解，表的数据将拆解成多个数据分区独立存储，通常的设计原则是：主键（Primary Key）单实例数据库不要求表一定要有主键，但是对于分布式数据库，主键则是必须的，以保证一行数据是全局唯一的，...
弹性业务带宽计费方式
根据计费公式：弹性业务带宽费用=弹性业务带宽计量值（Mbps）*有效因子*实例对应的弹性业务带宽月单价（元/月/Mbps），费用计算的过程如下：计算弹性业务带宽计量值 选取 月95带宽峰值 和 弹性业务带宽 两者中的较小值，减去开启弹性业务...
写入数据
主键包括主键列名、主键类型和主键值。重要 设置的主键个数和类型必须和数据表的主键个数和类型一致。当主键为自增列时，只需将自增列的值设置为占位符。更多信息，请参见 主键列自增。attribute_columns 行的属性列。每一项的顺序是属性名...
- 产品推荐
- 这些文档可能帮助您