使用ASM构建分布式系统的容错能力
因此构建一个具有容错能力的分布式系统非常重要。本文介绍如何通过ASM设置超时、重试、隔板和熔断机制构建分布式系统的容错能力。背景信息 容错能力是指系统在部分故障期间，仍然能够继续运行的能力。创建一个可靠的弹性系统会对其中的所有...
使用ASM构建分布式系统的容错能力
因此构建一个具有容错能力的分布式系统非常重要。本文介绍如何通过ASM设置超时、重试、隔板和熔断机制构建分布式系统的容错能力。背景信息 容错能力是指系统在部分故障期间，仍然能够继续运行的能力。创建一个可靠的弹性系统会对其中的所有...
AIMaster：弹性自动容错引擎
步骤三：配置容错监控增强功能 如果当前的容错监控配置不能满足您的要求，您可以使用容错监控增强功能，支持通过AIMaster SDK自定义容错关键字。任务运行过程中，AIMaster会自动扫描出错节点的日志，并和自定义容错信息对比，如果满足容错...
网络资源
常使用的容错策略如下：设备冗余：使用冗余的网络设备，如多个交换机、路由器等，通过冗余设备提供备用路径，当主路径出现闪断时，能够自动切换到备用路径，保持网络连接的稳定性。心跳检测：实施心跳检测机制，定期检测网络连接的状态和...
使用流水线构建和上传容器镜像时提示“no such file ...
问题描述 使用流水线进行容器镜像构建与上传失败提示“no such file or directory”，即进行Dockerfile中的COPY操作时找不到对应的文件。问题原因 出现该问题的可能原因有以下2种：在云效控制台的流水线页面中，构建和制作镜像上传不在同...
DLC使用案例汇总
本文为您介绍 DLC 产品使用案例相关文档入口链接汇总。...基于AIMaster的容错监控 介绍如何使用 DLC 提供的基于AIMaster的容错监控功能。快速提交MPIJob训练任务 介绍如何在DLC中使用mpirun和Deepspeed方式来提交MPIJob类型的分布式训练任务。
重试和死信
容错策略 容错策略即在错误发生时的处理方式，目前支持两类容错方式：允许容错（推荐）：允许异常容错，当异常发生时不会阻塞执行，超过最大重试次数后会根据配置将消息投递至死信队列或直接丢弃。禁止容错：不允许容错，当异常发生并超过...
重试和死信
容错策略 容错策略即在错误发生时的处理方式，目前支持两类容错方式：允许容错（推荐）：允许异常容错，当异常发生时不会阻塞执行，超过最大重试次数后会根据配置将消息投递至死信队列或直接丢弃。禁止容错：不允许容错，当异常发生并超过...
重试和死信
容错策略 容错策略即在错误发生时的处理方式，目前支持两类容错方式：允许容错（推荐）：允许异常容错，当异常发生时不会阻塞执行，超过最大重试次数后会根据配置将消息投递至死信队列或直接丢弃。禁止容错：不允许容错，当异常发生并超过...
重试和死信
容错策略 容错策略即在错误发生时的处理方式，目前支持两类容错方式：允许容错（推荐）：允许异常容错，当异常发生时不会阻塞执行，超过最大重试次数后会根据配置将消息投递至死信队列或直接丢弃。禁止容错：不允许容错，当异常发生并超过...
重试和死信
容错策略 容错策略即在错误发生时的处理方式，目前支持两类容错方式：允许容错（推荐）：允许异常容错，当异常发生时不会阻塞执行，超过最大重试次数后会根据配置将消息投递至死信队列或直接丢弃。禁止容错：不允许容错，当异常发生并超过...
概述
容错是指系统能够在部分组件出现故障或错误的情况下，依然能够继续正常运行，并提供正确的输出结果。这意味着系统具有自动检测、纠正和恢复错误的能力，以保证系统的可靠性和可用性。系统容错的目标是使系统能够在面对硬件故障、软件错误、...
存储资源
常见的容错策略如下：使用率预警：定期监控计算节点的磁盘空间使用情况，并设置告警机制。当磁盘空间即将满时，系统可以发送警报通知运维人员，以便及时处理。定期清理归档：对于不再需要或冗余的数据，及时进行清理和归档。可以通过定期...
基础设施安全
AIMaster作为任务级别组件，当任务开启容错监控功能后，会拉起AIMaster实例，与任务其它实例一起运行，进行任务监控、容错判断、资源控制的作用。详细请参见 AIMaster：弹性自动容错引擎。算力健康检测 进行AI训练时，DLC提供算力健康检测...
计算资源
计算资源常指用于执行计算任务的软硬件资源，包括CPU、GPU、内存、操作系统和特定计算任务的软硬件...可以使用资源隔离、配额控制、多副本冗余、服务降级、服务熔断、心跳上报、主动探活、数据校验、自动更替等容错策略来分别处理以上风险点。
什么是故障演练
故障演练是一款遵循混沌工程实验原理并融合了阿里巴巴内部实践的产品，提供丰富故障场景，能够帮助分布式系统提升容错性和可恢复性。流程 故障演练建立了一套标准的演练流程，包含准备阶段、执行阶段、检查阶段和恢复阶段。通过四阶段的...
其他子产品SDK参考文档
基于AIMaster的容错监控 介绍 DLC 提供的基于AIMaster的容错监控功能，包括容错监控参数说明、通过SDK开启容错监控功能、通过AIMaster的SDK配置容错监控增强功能。DSW SDK文档入口链接 创建DSW实例 介绍如何通过Python SDK创建DSW实例。...
读CSV文件
使用限制 通过可视化方式使用时，支持的计算资源为MaxCompute或Flink。通过PyAlink脚本方式使用时，需要使用PyAlink脚本组件进行代码调用，详情请参见 PyAlink脚本。前提条件（可选）已完成OSS授权，详情请参见 云产品依赖与授权：Designer...
离线集成管道通道配置
通过离线集成管道通道，您可定义离线集成任务运行时的容错、并发数、JVM资源、数据库配置及集成管道流量监控。本文将为您介绍如何配置离线集成管道通道。操作步骤 请参见 数据集成入口，进入数据集成页面。在数据集成页面，按照下图操作...
离线集成管道通道配置
通过离线集成管道通道，您可定义离线集成任务运行时的容错、并发数、JVM资源、数据库配置及集成管道流量监控。本文将为您介绍如何配置离线集成管道通道。操作步骤 请参见 数据集成入口，进入数据集成页面。在数据集成页面，按照下图操作...
功能特性
微服务平台提供高性能和透明化的 RPC 远程服务调用，具有高可伸缩性、高容错性的特点。高性能分布式服务框架 提供高性能和透明化的 RPC 远程服务调用，具有高可伸缩性、高容错性的特点。支持多协议/多序列化/多语言 包括 Bolt（默认自由...
使用闲时资源
本文为您介绍如何在使用预付费资源配额（Quota）提交DLC训练任务时，合理利用并配置闲时资源。功能介绍 在PAI平台中，您可根据自身业务场景灵活划分和分配Quota，不同的业务团队提交的训练任务则会消耗被分配的Quota。但某些业务的Quota在...
网络类场景
帮助您在网络异常的情况下验证应用或服务的容错能力。网络延迟 网络延迟场景可以指定网络延迟因素（例如网卡、本地端口、远程端口、目标IP等）和延迟时间，对应用或服务注入网络调用延迟故障。验证网络延迟情况下系统的容错能力。表 1.参数...
JobSettings
false ErrorMonitoringArgs string 用户指定容错监控的配置参数，比如指定是否启动基于 log hang 的检测-enable-log-hang-detection true EnableRDMA boolean 允许作业使用 RDMA true EnableOssAppend boolean 运行 OSS 追加写 true ...
应用场景
您可以根据您的使用场景，选择合适的引擎。引擎的选择建议，请参见 引擎类型。阿里巴巴集团内部最佳实践 Lindorm在阿里巴巴集团内部成熟业务中得到广泛使用。Lindorm基于自研的云原生多模架构支撑IoT业务飞速发展。大数据场景：海量数据...
快照概述
使用限制 关于快照的使用限制及配额，请参见 快照使用限制。应用场景 推荐您在以下场景中使用快照。环境复制：创建数据库文件系统快照，再进行克隆快照，实现环境复制。提高容错率：出现操作失误时，能通过快照恢复数据，降低操作风险，...
应用场景
背景 HBase的设计之初是为了满足互联网的大数据场景，几乎所有非强事务的结构化、半结构化的存储需求都可以使用HBase来满足。ApsaraDB for HBase是NoSQL（Not only SQL），也支持SQL及二级索引。大数据场景 云数据库HBase支持海量全量数据...
自动快照概述
合理地使用自动快照功能，可以提高系统数据安全和操作容错率。应用场景 使用自动快照对运行关键应用的云盘进行定期数据备份，应对因误删、勒索病毒等造成的数据丢失或者应用系统故障，需要时能快速找回云盘数据以保证业务的连续性。注意...
Multi-Master基础架构
AnalyticDB PostgreSQL版 Multi-Master通过水平扩展Master节点突破了原架构单Master的限制，配合Segment节点（计算节点）的弹性，系统整体能力尤其是连接数及读写性能得到...重新设计了 AnalyticDB PostgreSQL版 的集群容错和高可用能力。
通过EventBridge快速订阅ECS事件
场景一：推送至MNS 使用MNS来订阅事件适用于对事件时延要求较高、事件量较大的场景。MNS费用详情请参见 价格说明。服务类型：选择 消息服务MNS。队列：选择已创建的队列。消息体（body）：选择完整事件。开启 Base64 解码：选择 是。开启...
通过EventBridge快速订阅ECS事件
场景一：推送至MNS 使用MNS来订阅事件适用于对事件时延要求较高、事件量较大的场景。MNS费用详情请参见 价格说明。服务类型：选择 消息服务MNS。队列：选择已创建的队列。消息体（body）：选择完整事件。开启 Base64 解码：选择 是。开启...
消息通知
使用限制 仅支持在华北6（乌兰察布）地域选择这几种事件目标：语音电话、短信和邮件。操作步骤 进入 新建事件规则 配置面板，具体操作，请参见 工作空间事件中心。在 新建事件规则 配置面板，配置以下参数，并单击提交。参数 描述 规则名称...
演练场景说明
基础资源类场景 场景名称 特性 CPU类场景 CPU场景包含指定CPU使用率负载和指定核使用率满载，旨在让CPU在特定负载下，验证服务质量、监控告警、流量调度、弹性伸缩等能力。网络类场景 网络故障场景包含网络延迟、网络丢包和篡改域名解析。...
Multi-Master关键技术介绍
本文对Multi-Master架构的关键技术点进行介绍，包括分布式事务处理、全局死锁处理、DDL支持、分布式表锁支持、集群容错和高可用能力。分布式事务管理 AnalyticDB PostgreSQL版 分布式事务 AnalyticDB PostgreSQL版 通过二阶段提交协议（2PC...
概述
高容错 一切服务调用的容错机制均由软负载和配置中心控制，这样可以在应用系统无感知的情况下，帮助服务消费方正确选择健康的服务提供方，保障全站的稳定性。基本功能 主要为用户提供下述功能：多种服务路由方式：包括软负载、硬负载、直连...
功能特性
高性能分布式服务框架 提供高性能和透明化的 RPC 远程服务调用，具有高可伸缩性、高容错性的特点。支持多协议、多序列化、多语言，包括 Bolt（默认协议）、Dubbo、RESTful、WebService、Protobuf、Hessian、JSON 等。服务自动注册与发现...
数据消费框架原理
使用通道服务前，需要了解Tunnel Client的自动化数据处理流程、自动化的负载均衡和良好的水平扩展性以及自动化的资源清理和容错处理。背景信息 Tunnel Client可以解决全量和增量数据处理时的常见问题，例如负载均衡、故障恢复、Checkpoint...
- 产品推荐
- 这些文档可能帮助您