数据消费框架原理
使用通道服务前，需要了解Tunnel Client的自动化数据处理流程、自动化的负载均衡和良好的水平扩展性以及自动化的资源清理和容错处理。背景信息 Tunnel Client可以解决全量和增量数据处理时的常见问题，例如负载均衡、故障恢复、Checkpoint...
SmartData 3.0.x版本简介
改进缓存服务，增强节点容错处理和节点下线操作。改进缓存块写入磁盘的选择策略，默认支持轮询（Round Robin）。改进读写流程，增强容错处理。提供JindoFS分层存储的Cache、Uncache和Status命令，允许缓存至指定目录，支持数据预加载，查看...
消息通知
任务自动容错：当DLC任务发生异常或错误并进行自动容错处理时，会发送消息通知。事件范围 支持以下取值：我创建的：仅您自己创建的DLC任务。当前工作空间所有的：当前工作空间下的所有的DLC任务。事件目标 钉钉通知 您需要配置 Webhook 和 ...
常见问题
无论 SOFARegistry 是否宕机，SOFARPC 框架对服务提供者调用失败的情况，做了两方面的容错处理：调用重试：您可以配置调用重试，当发生非业务错误导致的请求失败时（例如网络超时等），会尝试重试（随机调用一个服务提供者重试）。...
AIMaster：弹性自动容错引擎
另外也支持消息通知，当DLC任务发生异常并进行自动容错处理时，会发送消息通知。步骤一：配置容错监控参数 当前容错监控功能支持配置的全量参数如下，您可以参考常用参数配置示例，提前规划好要为任务配置的容错监控内容。后续开启容错监控...
2024年
该版本调整了文件读取逻辑，增强了对文件块损坏或不可读状态的容错处理，确保数据读取过程的稳定性和可靠性。修复查询监控工具异常崩溃的问题。该版本对底层实现进行了优化，增强了错误处理能力和稳定性，避免在处理过程中发生崩溃。2024年...
网络资源
如果节点长时间无法接收到心跳信号，可以判定为网络分区，进行相应的容错处理，例如切换到备用节点或等待网络分区恢复。容灾：建立容灾和高可用的系统架构，将系统部署在多个地理位置或数据中心，并使用负载均衡和故障切换技术，以确保即使...
工作空间事件中心
任务自动容错：当DLC任务发生异常或错误并进行自动容错处理时，会发送消息通知。模型 模型版本允许上线：当模型准入状态由 Pending 变为 Approved 状态时，将发送消息通知或自动调用指定接口。模型版本状态改变：即模型准入状态变更时，会...
消费-计量计费日志
容错处理：计费程序可能有Bug，如何确保计量数据与计费程序独立。本文介绍一种基于日志服务按量计费方案，该方案已在线上稳定运行多年，从未出现过一例算错、延迟等情况，供大家参考。系统架构 以日志服务LogHub功能为例：使用LogHub进行...
Tair开发运维规范
程序客户端需要对超时和慢请求做容错处理。由于 Tair 服务可能因网络波动或资源占满引发超时或慢请求，您需要在程序客户端上设计合理的容错机制。程序客户端应设置相对宽松的超时重试时间。如果超时重试时间设置的非常短（例如200毫秒以下...
云数据库Redis开发运维规范
程序客户端需要对超时和慢请求做容错处理。由于Redis服务可能因网络波动或资源占满引发超时或慢请求，您需要在程序客户端上设计合理的容错机制。程序客户端应设置相对宽松的超时重试时间。如果超时重试时间设置的非常短（例如200毫秒以下）...
pg_cron
可靠性和容错性：提供错误处理和容错机制，确保任务的正确执行并提供相应的日志记录。pg_cron 为数据库管理员和开发人员提供了一种简单而强大的方式来自动化执行重复性任务。例如，备份数据、生成报告、定期清理等，从而提升数据库的管理和...
pg_cron
可靠性和容错性：提供错误处理和容错机制，确保任务的正确执行并提供相应的日志记录。pg_cron 为数据库管理员和开发人员提供了一种简单而强大的方式来自动化执行重复性任务。例如，备份数据、生成报告、定期清理等，从而提升数据库的管理和...
pg_cron
可靠性和容错性：提供错误处理和容错机制，确保任务的正确执行并提供相应的日志记录。pg_cron 为数据库管理员和开发人员提供了一种简单而强大的方式来自动化执行重复性任务。例如，备份数据、生成报告、定期清理等，从而提升数据库的管理和...
计算资源
计算资源常指用于执行计算任务的软硬件资源，包括CPU、GPU、内存、操作系统和特定计算任务的软硬件...可以使用资源隔离、配额控制、多副本冗余、服务降级、服务熔断、心跳上报、主动探活、数据校验、自动更替等容错策略来分别处理以上风险点。
使用ASM构建分布式系统的容错能力
ASM提供了超时处理、重试机制、隔板模式和熔断机制容错解决方案，在不修改应用程序任何代码的情况下为应用程序带来了容错能力。超时处理 原理介绍 当请求上游服务的时候，存在上游服务一直没有响应的现象。您可以设置一个等待时间，到达...
使用ASM构建分布式系统的容错能力
ASM提供了超时处理、重试机制、隔板模式和熔断机制容错解决方案，在不修改应用程序任何代码的情况下为应用程序带来了容错能力。超时处理 原理介绍 当请求上游服务的时候，存在上游服务一直没有响应的现象。您可以设置一个等待时间，到达...
使用MapReduce处理JindoFS上的数据
Hadoop MapReduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。一个MapReduce作业通常会把输入的数据集切分为若干独立的数据块，由Map...
每条消息会被消费多少次？
本文介绍 消息服务MNS 中每条消息被消费的次数。在系统设计上保证您队列中的所有消息至少被消费一次，建议您加强应用服务的容错性，以便多次处理同一消息时不会造成错误或不一致。
如何正确处理DDL异常
PolarDB-X 的DDL处理框架拥有一定的容错能力，会保证DDL的正确性和一致性。但在特殊情况下，需要手动处理DDL异常。处理步骤 下面以创建全局唯一二级索引为例，介绍处理DDL异常的步骤。创建全局唯一二级索引时，会校验列中数据的全局唯一性...
EMR Kafka磁盘故障运维
这些情况有可能影响到线上业务平稳运行、数据丢失、Kafka集群容错能力下降，单块盘故障甚至有可能因为IO处理能力下降导致集群出现雪崩效应、引起重大生产事故。因此需要对磁盘故障进行有效监控以便及时发现故障。当磁盘发生故障时，应及时...
重试和死信
容错策略 容错策略即在错误发生时的处理方式，目前支持两类容错方式：允许容错（推荐）：允许异常容错，当异常发生时不会阻塞执行，超过最大重试次数后会根据配置将消息投递至死信队列或直接丢弃。禁止容错：不允许容错，当异常发生并超过...
重试和死信
容错策略 容错策略即在错误发生时的处理方式，目前支持两类容错方式：允许容错（推荐）：允许异常容错，当异常发生时不会阻塞执行，超过最大重试次数后会根据配置将消息投递至死信队列或直接丢弃。禁止容错：不允许容错，当异常发生并超过...
重试和死信
容错策略 容错策略即在错误发生时的处理方式，目前支持两类容错方式：允许容错（推荐）：允许异常容错，当异常发生时不会阻塞执行，超过最大重试次数后会根据配置将消息投递至死信队列或直接丢弃。禁止容错：不允许容错，当异常发生并超过...
重试和死信
容错策略 容错策略即在错误发生时的处理方式，目前支持两类容错方式：允许容错（推荐）：允许异常容错，当异常发生时不会阻塞执行，超过最大重试次数后会根据配置将消息投递至死信队列或直接丢弃。禁止容错：不允许容错，当异常发生并超过...
重试和死信
容错策略 容错策略即在错误发生时的处理方式，目前支持两类容错方式：允许容错（推荐）：允许异常容错，当异常发生时不会阻塞执行，超过最大重试次数后会根据配置将消息投递至死信队列或直接丢弃。禁止容错：不允许容错，当异常发生并超过...
触发器高级功能
允许容错 请求失败且重试失败后，跳过此请求，继续处理下一条请求。禁止容错 请求失败且重试失败后，消费任务阻塞。死信队列 仅当开启 允许容错 时，可配置死信队列。如果启用死信队列，未被处理或超过重试次数的消息会被投递到目标服务中...
触发器高级功能
允许容错 请求失败且重试失败后，跳过此请求，继续处理下一条请求。禁止容错 请求失败且重试失败后，消费任务阻塞。死信队列 仅当开启 允许容错 时，可配置死信队列。如果启用死信队列，未被处理或超过重试次数的消息会被投递到目标服务中...
EventBridge事件调度
云产品事件调度支持包括弹性计算、存储服务、数据库、容器、大数据处理、可观测性服务及中间件服务在内的几乎所有阿里云官方事件源，而自定义事件源事件调度支持包括SLS、Kafka、RocketMQ、RabbitMQ等事件源的接入。本文介绍如何创建...
MSE Agent版本说明
在全链路灰度能力中增加容错逻辑，如果trace为空，则默认将请求发送到base环境，而不是随机访问其他环境。将微服务治理企业版的CPU使用率指标采集来源切换至Sentinel。3.0.7 2023年11月18日 从3.0.7版本开始，MSE Agent不再支持JDK 1.6和...
通过EventBridge快速订阅ECS事件
当下游事件接收端出现异常（如宕机、服务不可用、网络抖动等），导致接收端无法正常接收事件时，EventBridge 支持多种方式处理这些异常，包括：重试策略、容错策略、死信队列。您可以在 步骤二：创建ECS事件订阅规则 中，配置重试和死信...
通过EventBridge快速订阅ECS事件
当下游事件接收端出现异常（如宕机、服务不可用、网络抖动等），导致接收端无法正常接收事件时，EventBridge 支持多种方式处理这些异常，包括：重试策略、容错策略、死信队列。您可以在 步骤二：创建ECS事件订阅规则 中，配置重试和死信...
HDFS概述
HDFS（Hadoop Distributed File System）是一种Hadoop分布式文件系统，具备高度容错特性，支持高吞吐量数据访问，可以在处理海量数据（TB或PB级别以上）的同时最大可能的降低成本。HDFS适用于大规模数据的分布式读写，特别是读多写少的场景...
Multi-Master关键技术介绍
本文对Multi-Master架构的关键技术点进行介绍，包括分布式事务处理、全局死锁处理、DDL支持、分布式表锁支持、集群容错和高可用能力。分布式事务管理 AnalyticDB PostgreSQL版 分布式事务 AnalyticDB PostgreSQL版 通过二阶段提交协议（2PC...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
存储资源
常见的容错策略如下：布隆过滤器：使用布隆过滤器对请求进行预处理，过滤掉一部分可以明确判断不存在的请求。布隆过滤器是一种空间效率高、判断存在与否比较快速的数据结构，可以快速判断请求的key是否可能存在，从而减轻后续查询的压力。...
数据集成概述
背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效的配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错，限速，并发）等。...
什么是智能媒体服务
灵活性强：不必重复授权即可跑通全链路，提供可视化编排的工作流，高效容错。智能化：在采集、媒资、生产、处理、播放等场景中体系化的提供AI服务。多样性：PaaS、PaaS+和SaaS的多重交付形式。联系我们 更多产品咨询问题或使用支持，欢迎...
应用场景
Lindorm支持宽表模型、时序模型，提供自研的宽表引擎、时序引擎和搜索引擎，兼容HBase、Phoenix、OpenTSDB、Solr等多种开源标准接口，提供SQL查询、时序处理、检索分析等能力，满足结构化、半结构化的存储和分析需求，同时支持在线业务和离...
什么是消息演练
定位故障根源：经过消息演练之后，积累了消息系统的处理经验，对于未来的系统诊断定位有参考和提升作用。消息的演练场景 消息服务通常是由不同的模块组成。例如，RocketMQ分为生产者Producer、消费者Consumer、服务集群Broker和注册中心...
- 产品推荐
- 这些文档可能帮助您