离线同步写入MongoDB数据
业务主键：指定了每行记录的业务主键，用来做覆盖时使用（不支持配置为多个业务主键，通常指Mongo中的主键）。说明 当 写入模式 设置为 是，且将非_id字段配置为业务主键，任务运行时可能会出现类似以下的报错：After applying the update,...
使用OpenAPI诊断工具进行故障排查
阿里云OpenAPI平台提供使用诊断工具。本文介绍如何使用OpenAPI诊断工具进行故障排查。您可以登录 OpenAPI使用诊断，输入完整的RequestID或SDK报错信息，然后...如果诊断工具仍未能解决您的问题，您可以参考 故障排除、常见问题 获取解决方案。
Saga 模式服务设计
大致场景如下：针对该问题，在服务设计时，需要允许空补偿，即在没有找到要补偿的业务主键时，返回补偿成功，并将原业务主键记录下来，标记该业务流水已补偿成功。服务防悬挂控制 悬挂，指的是补偿服务比原服务先执行。大致场景如下：此时...
可观测性的设计原则
通过在系统中实现分布式跟踪，可以快速定位问题并进行有效的故障排除。链路跟踪可以通过在系统中添加跟踪标识符来实现。当请求进入系统时，标识符将被添加到请求中，并在整个系统中传递。每个组件都可以将标识符添加到它们的日志中，以便在...
监控、诊断和故障排除
故障排除：提供常见的问题场景和故障排除方法。服务监控 监视总体运行状况 可用性和有效请求率 可用性和有效请求率是有关系统稳定性和用户是否正确使用系统的最重要指标，指标小于100%说明某些请求失败。可能因为一些系统优化因素出现暂时...
配置Elasticsearch输出
说明 选择_id主键取值方式，但却没有为该Elasticsearch主键映射源端字段，即选择业务主键取值方式但源端不存在主键，选择联合主键取值方式后未配置主键列，此时主键设置的取值方式不生效，同步时将随机生成_id值，此操作可能会带来数据重复...
线上问题定位与排查
为了便于线上问题排查，强烈建议您配置上传业务主键。这样，您可以通过“业务键+时间”的方式快速定位遇到问题的用户所关联的滑动验证请求。如果未配置上传业务键，您可能需要引导用户进行抓包才能定位到具体的日志和请求。您可以选择以下...
配置数据质量监控
配置ods_user_info_d质量监控规则 表ods_user_info_d用于接收从RDS MySQL同步过来的用户基本信息，基于该表业务属性，我们分别为其配置 表行数非0 和 业务主键唯一性 校验，并通过关联调度节点的方式，触发该表数据质量规则执行。...
需求分析
ads_user_info_1d 对每日用户数据进行表行数波动监测（弱规则）及业务主键唯一性校验（强规则），以此观察每日UV的波动，以便及时了解应用动态。数据可视化阶段 ads_user_info_1d 通过DataWorks数据分析对用户画像数据进行可视化与分析展示...
需求分析
ads_user_info_1d 对每日用户数据进行表行数波动监测（弱规则）及业务主键唯一性校验（强规则），以此观察每日UV的波动，以便及时了解应用动态。数据可视化阶段 ads_user_info_1d 通过DataWorks数据分析对用户画像数据进行可视化与分析展示...
数据同步拓扑介绍
拓扑类型 拓扑图 说明 一对一双向同步 为保障同步数据的一致性，您需要确保同一个主键、业务主键、唯一键的记录只在一个实例中更新。说明 如果同时更新则会按照您在数据同步作业中配置的冲突修复策略进行响应。相关文档 DTS数据同步方案...
从PolarDB MySQL版同步至Elasticsearch
业务主键 如果选择为 业务主键，那么您还需要设置对应的 业务主键列。添加参数 选择所需的 字段参数 和 字段参数值，字段参数及取值介绍请参见 Elasticsearch官方文档。说明 DTS目前仅支持可以选中的参数。上述配置完成后，单击页面右下角...
配置数据质量监控
配置ods_user_info_d质量监控规则 表ods_user_info_d用于接收从RDS MySQL同步过来的用户基本信息，基于该表业务属性，我们分别为其配置 表行数非0 和 业务主键唯一性 校验，并通过关联调度节点的方式，触发该表数据质量规则执行。...
基于MaxCompute实现拉链表
节点间的依赖关系，如下图所示：ods_order_di 表数据：交易下单源表，包含业务主键订单ID和需要追踪变化的订单状态status字段，用于存放每日新增交易下单数据。在 ods_order_di 节点编辑页面，需要将以下 ods_order.csv 测试数据，存储在 ...
从ECS上的自建MySQL同步至Elasticsearch
业务主键 如果选择为 业务主键，那么您还需要设置对应的 业务主键列。添加参数 选择所需的 字段参数 和 字段参数值，字段参数及取值介绍请参见 Elasticsearch官方文档。说明 DTS目前仅支持可以选中的参数。上述配置完成后，单击页面右下角...
同城多活常见问题
资源双活在业务节点故障时，南北走向流量切走，东西走向流量仍旧持续进入，业务无法恢复，因此无法做到业务同城多活。和EDAS、MSE集群流量同可用区优先的差异和优势？类别 MSHA EDAS、MSE 微服务日常场景 面向可用区级别，解决RT问题。面向...
通过DTS将MySQL数据实时同步到阿里云Elasticsearch
业务主键 如果选择为 业务主键，那么您还需要设置对应的 业务主键列。配置完成后，根据页面提示保存任务、进行预检查、购买并启动任务。购买成功后，同步任务正式开始，您可在数据同步界面查看具体任务进度。待全量同步完成，增量同步进行...
PolarDB MySQL版迁移至Elasticsearch
业务主键 如果选择为 业务主键，那么您还需要设置对应的 业务主键列。上述配置完成后，单击页面下方的 下一步保存任务并预检查。您可以将鼠标光标移动至 下一步保存任务并预检查 按钮上，然后单击气泡中的 预览OpenAPI参数，查看调用API...
PolarDB MySQL版间的双向同步
在使用双向同步时，您需要在业务层面配合进行相应的改造，保证同一个主键、业务主键或唯一键的记录只在双向同步的某个节点进行更新。对于上述数据同步的冲突，DTS提供了修复策略，您可以在配置双向同步时选择。操作步骤 购买数据同步作业，...
PolarDB MySQL版间的双向同步
在使用双向同步时，您需要在业务层面配合进行相应的改造，保证同一个主键、业务主键或唯一键的记录只在双向同步的某个节点进行更新。对于上述数据同步的冲突，DTS提供了修复策略，您可以在配置双向同步时选择。操作步骤 购买数据同步作业，...
通过DTS将PolarDB MySQL数据同步至阿里云Elastic...
业务主键 如果选择为 业务主键，那么您还需要设置对应的 业务主键列。配置完成后，根据页面提示保存任务、进行预检查、购买并启动任务。购买成功后，同步任务正式开始，您可在数据同步界面查看具体任务进度。待全量同步完成，增量同步进行...
常见问题FAQ
4.HDMI无信号 故障示意图如下：故障排除方案如下：1.见下遥控器说明，按电源键，重启魔盒。2.重复插拔HDMI线 3.重启屏幕 屏幕操作指南由屏幕供应商给出。4.屏幕的信号源切换到HDMI输入。屏幕操作指南由屏幕供应商给出。如无法排除故障：...
PolarDB-X 2.0同步至Elasticsearch
业务主键 如果选择为 业务主键，那么您还需要设置对应的 业务主键列。保存任务并进行预检查。若您需要查看调用API接口配置该实例时的参数信息，请将鼠标光标移动至 下一步保存任务并预检查 按钮上，然后单击气泡中的 预览OpenAPI参数...
PolarDB-X 2.0迁移至Elasticsearch
警告 选择为 忽略报错并继续执行，可能导致数据不一致，给业务带来风险，例如：表结构一致的情况下，在目标库遇到与源库主键的值相同的记录，则会保留目标库中的该条记录，即源库中的该条记录不会迁移至目标库中。表结构不一致的情况下，...
MySQL实例间的双向同步
支持的冲突检测 为保障同步数据的一致性，您需要确保同一个主键、业务主键或唯一键的记录只在双向同步的一个节点进行更新。如果同时更新则会按照您在数据同步作业中配置的冲突修复策略进行响应。DTS通过冲突检测和修复最大程度地维护双向...
云数据库MongoDB版（副本集架构）间的双向同步
在使用双向同步时，您需要在业务层面配合进行相应的改造，保证同一个主键、业务主键或唯一键的记录只在双向同步的某个节点进行更新。对于上述数据同步的冲突，DTS提供了修复策略，您可以在配置双向同步时选择。任务步骤说明 同步类型 说明 ...
云数据库MongoDB版（副本集架构）间的双向同步
在使用双向同步时，您需要在业务层面配合进行相应的改造，保证同一个主键、业务主键或唯一键的记录只在双向同步的某个节点进行更新。对于上述数据同步的冲突，DTS提供了修复策略，您可以在配置双向同步时选择。任务步骤说明 同步类型 说明 ...
云数据库MongoDB版（分片集群架构）间的双向同步
在使用双向同步时，您需要在业务层面配合进行相应的改造，保证同一个主键、业务主键或唯一键的记录只在双向同步的某个节点进行更新。对于上述数据同步的冲突，DTS提供了修复策略，您可以在配置双向同步时选择。任务步骤说明 同步类型 说明 ...
云数据库MongoDB版（分片集群架构）间的双向同步
在使用双向同步时，您需要在业务层面配合进行相应的改造，保证同一个主键、业务主键或唯一键的记录只在双向同步的某个节点进行更新。对于上述数据同步的冲突，DTS提供了修复策略，您可以在配置双向同步时选择。任务步骤说明 同步类型 说明 ...
MySQL实例间的双向同步
在使用双向同步时，您需要在业务层面配合进行相应的改造，保证同一个主键、业务主键或唯一键的记录只在双向同步的某个节点进行更新。对于上述数据同步的冲突，DTS提供了修复策略，您可以在配置双向同步时选择。支持同步的SQL 操作类型 SQL...
MySQL实例间的双向同步
在使用双向同步时，您需要在业务层面配合进行相应的改造，保证同一个主键、业务主键或唯一键的记录只在双向同步的某个节点进行更新。对于上述数据同步的冲突，DTS提供了修复策略，您可以在配置双向同步时选择。支持同步的SQL 操作类型 SQL...
订阅事件通知
数据传输服务DTS（Data Transmission Service）已接入云监控平台，您可以通过事件订阅对重要的事件设置定制化的报警通知，让您及时了解事件的发生与进展，帮助您实时掌握事件动态，便于您在业务故障时快速分析并定位问题。背景信息 云监控...
强弱依赖治理概述
故障根源定位：后台系统的故障，往往通过上一级的业务故障表现出来。故障处理讲究的是争分夺秒，良好的强弱依赖，对于系统自动化诊断有非常大的助力作用。依赖容量评估：正常调用链路下的系统容量需要评估。例如当某个弱依赖挂掉时，需要...
诊断网页加载过慢的问题
针对这类问题，ARMS前端监控的慢会话追踪功能提供页面静态资源加载的性能瀑布图，可深入定位页面资源加载情况，全方位地诊断故障根源，从而快速排除故障。问题描述 网页加载较慢是经常出现且前端非常关注的问题之一。定位、排查解决这类...
使用云监控功能监控网站环境（部署于ECS实例）
设置合理的监控可以让您实时了解系统业务的运行情况，并能帮助您提前发现问题，避免可能会出现的业务故障。同时，告警机制能让您在故障发生后第一时间发现问题，缩短故障处理时间，以便尽快恢复业务。前提条件 在开始设置云监控前，您需要...
RDS MySQL只读实例同步延迟原因与处理
特殊情况 可直接对无主键业务表添加显式主键即可。常见问题 Q：为什么我的实例中，部分只读实例有1秒延迟的现象？A：每个实例的采集程序、启动时间都不一样，有的实例的采集刻凑巧在刚过整秒的时间点，就会有此现象。其他实例的采集时刻不...
RDS MySQL只读实例同步延迟原因与处理
特殊情况 可直接对无主键业务表添加显式主键即可。常见问题 Q：为什么我的实例中，部分只读实例有1秒延迟的现象？A：每个实例的采集程序、启动时间都不一样，有的实例的采集刻凑巧在刚过整秒的时间点，就会有此现象。其他实例的采集时刻不...
标准版-单副本
使用场景 纯缓存类业务场景 单副本架构不能提供数据可靠性，如果发生节点故障，您需要重新对业务进行预热，因此，在对数据可靠性要求较高的敏感性业务中，建议选用双副本架构。对Redis协议兼容性要求较高的业务 标准版完全兼容Redis协议，...
产品功能
分布式架构，单节点故障业务不受影响 云数据库Memcache版采用分布式集群架构，每个节点均由双机热备架构组成，具备自动容灾及故障迁移能力。多种规格可适配不同的业务压力，数据库性能支持无限扩展。支持数据持久化及备份恢复策略，有效的...
- 产品推荐
- 这些文档可能帮助您