故障演练
ADP提供基于线下交付经验设计的丰富故障演练场景，对基础设施、底座、中间件的常见故障场景进行覆盖，涵盖了集群级别的大规模故障以及节点、pod级别的资源故障。部分演练场景为破坏性场景（如机器重启、网卡损坏），可能导致环境状态异常、...
功能特性
高可用管理平台 HAS 定位于 IT 技术...故障演练平台支持触发 CPU 利用率升高、内存利用率升高、内存占用、网络丢包、容器宕机、物理机宕机等常见故障，并针对故障制定出详细的演练和恢复计划，保证用户能够有计划地测量和观测应用高可用能力。
云盒计算资源配置最佳实践
背景信息 云盒的硬件设计中，各类硬件设备的保障如下：网络设备：采用双机冗余双上连设计，确保云盒内网络的高连续性，且不存在单点故障。存储设备：可以 确保在两台存储服务器同时宕机的情况下，数据的安全可靠。计算设备：支持宕机迁移和...
ADP底座介绍
常见故障场景自动诊断：内置长期经验沉淀的运维知识库，自动识别常见故障问题，并提供故障处置建议。自动化巡检和告警通知：内置基础告警策略并可灵活配置，可对接多种告警通知方式，定期巡检，及时感知问题。业务数据的存储备份及还原：...
响应云盒维修事件
当云盒中的硬件设备发生故障需要更换时，阿里云会向您发送云盒维修事件通知，您需要授权同意阿里云上门更换并维修硬件设备。本文为您介绍云盒维修相关的流程，以及如何响应云盒维修事件。背景信息 配置云盒计算资源时，您需要配置一定的...
产品优势
简单易用 服务开箱即用：支持即开即用的方式，购买之后即可使用，方便业务快速部署。兼容开源 Memcache：兼容 Memcache binary protocol，符合该协议的客户端（binary ...硬件故障自动检测与恢复：自动侦测硬件故障并在数秒内切换，恢复服务。
概述
但随着各公司业务范围的扩展和软件系统架构持续迭代升级，系统的复杂度随之增加，面对更多的非预期事件风险，如各类软硬件故障、错误的变更、突发流量，甚至到光纤挖断、自然灾害等引起的整个机房不可用情况，如何保障系统稳定性具有很大...
网络游戏：心动网络股份有限公司
游戏运维发布、游戏服务端软硬件故障导致服务端重启，需要数据库支撑更快的数据读取能力，以实现业务的快速恢复。解决方案 心动网络采用 PolarDB 分布式云原生数据库方案构建了全部业务系统：PolarDB 支持处理海量大数据，同时具备高并发、...
产品优势
设备级容灾 双网关主备设备接入模式，硬件故障时可及时更换。链路级容灾 每个网关终端双链路密封接入，自动探测最优链路，故障时主动实时切换。安全 混合云私网加密互连，Internet传输过程中加密认证。数据加密 使用IKE和IPsec协议对传输...
概述
系统容错的目标是使系统能够在面对硬件故障、软件错误、通信故障或其他异常情况时，能够继续执行，并且不会导致整个系统崩溃或数据损坏。分布式系统常按云端部署架构划分为IaaS、PaaS、SaaS，每层又都依赖计算、存储、网络资源进行构建，在...
NAT网关故障排查指南
本文介绍NAT网关的常见故障及排查方案。流量不通类故障排查：ECS实例配置DNAT条目后无法被公网访问 VPC内新建交换机的ECS无法通过SNAT访问公网 VPC内存在多个NAT网关时，某交换机的ECS实例不能访问公网 访问流量异常类故障排查：客户端访问...
设计原则
面向失败的架构设计原则 众所周知，系统异常事件是不可避免的，如网络延迟、硬件故障、软件错误、突峰流量等，建议在系统设计阶段就要从这些异常事件引起的系统执行“失败”出发，提供冗余、隔离、降级、弹性等能力，旨在确保系统的高可用...
容灾恢复
集群中通常一个服务有多个服务提供者，其中部分服务提供者可能由于网络、配置、长时间 fullgc、线程池满、硬件故障等导致长连接还存活但是程序已经无法正常响应。单机故障剔除功能会将这部分异常的服务提供者进行降级，使客户端的请求更多...
设计方案
系统可预见的稳定性风险包含软硬件故障和不可预期的流量，小到线程级风险，大到地域级灾难，从此出发可通过容灾、容错、容量三方面建立系统架构稳定性。容灾 容灾就是在灾难发生时，在保证生产系统的数据尽量少丢失的情况下，保持生存系统...
高性能版实例
以下内容为 AnalyticDB PostgreSQL版 实例常见故障场景中高性能版和高可用版的对比：恢复（Recovery）模式 根据以往 AnalyticDB PostgreSQL版 运行情况，故障最大的场景为恢复模式，故障概率远大于另外两种场景（计算节点故障和计算节点宿...
基于ack-lingjun-aiast组件实现集群自动化运维
该系统能够实时监测并分析系统的运行状态，快速检测故障并采取恢复措施，例如硬件故障、网络故障、软件错误等，从而降低运维成本，提高系统可靠性和稳定性。组件介绍 安装灵骏AI助手开启PAI的作业监控和恢复功能后，当发生故障或异常时，...
单实例快速恢复
当出现1分钟容器响应超时（可能是内存溢出、硬件故障、软件Bug等原因导致），Resource Manager会自动拉起新的计算节点，并迁移数据分片（Shard）职责到新的节点上（例如Worker Node3响应超时，Resource Manager拉起Worker Node4取代Worker ...
约束与限制
故障切换：实例协调节点和计算节点均采用主备HA架构，当主节点发生异常或者硬件故障时，会在30秒内切换到备节点。切换过程中有30秒左右的连接闪断，需要您提前做好准备，通过连接池等机制，设置好程序的自动重连。指标 限制 用户最大连接数...
本地盘最佳实践
但云盘采用分布式三副本机制，能防止意外硬件故障导致的数据不可用。如果应用没有多节点数据冗余架构，强烈建议您选择云盘。最佳实践 选型 对于大数据、重型数据库应用，带本地盘的实例（例如i2、d1等）在成本、存储访问时延上有着较大的...
产品优势
基于阿里公共云积累的大量数据和算法优势，阿里云还会为您提供硬件故障预测和隔离措施。需要您自行运维。您需要安装硬件设施，并负责硬件设施的监控、维护、更新、升级、技术支持等日常管理，需要花费管理平台及IT基础设施的时间和资源。...
ECS系统事件概述
说明 计划内运维事件也称主动运维事件，是阿里云基于百万级服务器的管理运维经验，服务上万家大型企业客户的能力沉淀，以及达摩院的前沿机器学习算法，对底层宿主机的软硬件故障风险进行预测和主动规避。当宿主机上的故障风险无法规避时，...
冷备操作手册
在后续运行中，如一体机发生硬件故障，本文档描述如何一键替换主机，快速恢复现场业务。一 支持声明 冷备支持机型 物业管理一体机-停车版、物业管理一体机-人行版、物业管理一体机-视频版、物业管理一体机-EBA版、物业管理一体机-通行版、...
ECS系统事件汇总
Instance:SystemMaintenance.Reboot:Failed：因系统维护实例重启失败 Instance:SystemMaintenance.Reboot:Canceled：因系统维护实例重启已取消 阿里云检测到ECS实例所在的底层宿主机存在潜在的软硬件故障风险，该风险会导致ECS实例重启，且...
混合云解决方案
如果MASTER 宕机，发生了故障转移，此时SLAVE如果要提供服务，日志读取器会等待镜像日志先同步，再做发布，但如果MASTER发生硬件故障，此时SLAVE需要打开一个跟踪标记1448，在镜像故障的情况下可以继续分发数据。说明 1448标记用于在事务...
主从实例读写分离部署（共享存储）
当出现1分钟容器响应超时（可能是内存溢出、硬件故障、软件Bug等原因导致），Resource Manager会自动拉起新的计算节点，并迁移Shard职责到新的节点上（例如Worker Node3响应超时，Resource Manager拉起Worker Node4取代Worker Node3），...
EasyCkpt：AI大模型高性能状态保存恢复
在训练过程中，可能会遇到硬件故障、系统问题、连接错误、以及其他未知的问题。这种频繁中断导致的训练进度的损失对于耗时又耗资源的大模型训练来说是难以承受的。尽管可以通过做Checkpoint来保存和恢复进度，但Checkpoint本身的耗时与模型...
服务支持
NLP自然语言处理 常见问题 调用异常自助排查（错误码汇总）服务协议 NLP自学习平台 常见问题 实体抽取项目常见问题 故障排除 私有化部署 企业智能搜索 错误码对照表 常见问题
以太网接口频繁Up/Down
本文介绍以太网接口频繁Up/Down的原因和处理方法。问题现象 以太网接口频繁Up/Down。可能原因 线缆没有连接好。双绞线过长、光纤超长或链路损耗太大。接口、接口模块或设备故障。解决方案 检查本端和对端...检查本端和对端设备硬件是否故障。
以太网接口无法接通
本文介绍以太网接口没有接通的可能原因和处理方法。问题现象 以太网接口没有接通（物理上）。可能原因 设备没有连接电源或者以太网接口连接的线缆没有插好。光纤、双绞线过长或者链路损耗太大。...检查本端和对端设备硬件是否故障。
采集客户端数据的高可用方案
通过该机制，存储系统确保3个数据副本分布在不同服务器的不同物理磁盘上，单个硬件设备的故障不会造成数据丢失，同时确保3个数据副本之间的数据强一致性。因此对于单硬件设备故障风险，日志服务天然具备了可用性特征。但是在一些相对极端的...
自助诊断GPU节点问题
通常是您手动退出或者其他故障（硬件、资源限制等）导致的GPU应用退出，XID 45只提供一个结果，具体原因通常需要进一步分析日志。68 NVDEC0 Exception.通常是硬件或驱动问题。工单排查列表 当遇到下列XID错误时，请 提交工单 联系技术支持...
执行演练
在执行故障演练过程中，您可以实时查看演练进度、每个演练活动的运行状态及结果，同时也能够随时结束演练，进行恢复阶段的活动，清除故障演练影响。背景信息 一次完整的故障演练包括以下四个...后续步骤 停止演练 常见问题 故障演练常见问题
应用故障自动诊断
常见的故障自动诊断场景 RT突增 下游业务导致的本应用的RT突增，您可以联系下游业务的负责人进行排查。应用变更导致的RT突增，您可以查看此次变更的具体变更进行排查。应用的某个服务导致RT突增，可以排查以下情况：服务是否在此时有发生...
虚拟机场景
本文列出了虚拟机常见的故障演练场景。JvmCodeCache满 制造JVM CodeCache区域满的故障，CodeCache区域满会直接导致JIT编译关闭，从而引起业务系统性能下降。一般用于验证业务系统在高并发且系统性能下降的情况下，是否能够通过限流、快速扩...
GTM如何实现异地容灾
常见问题 故障切换时间是多少？在健康检查间隔设置为15秒，TTL10秒，连续失败次数3次的配置下，GTM能在1分钟左右准确发现故障并切换，故障切换后理论上10秒左右可以全网生效，但实际情况取决于全国各地运营商的缓存设置时间。DNS未使用云...
故障管理
硬件故障：包括硬盘、网卡损坏。相关设备故障：包括UPS失效引起的电力中断。自然灾害，包括洪水、火灾、地震。这里以阿里集团为例。为降低故障的影响，阿里集团故障管理体系从整体体系化治理的角度出发，将影响真实业务的场景定义、发现和...
I-V曲线诊断
光伏阵列部分遮挡 光伏阵列在发电过程中受到外界因素的干扰出现部分遮挡，是光伏发电中一种常见的故障类型，其示意图如下所示。当出现部分遮挡时，影响如下：会造成阵列的发电功率下降，造成经济损失。被遮挡的组件会出现热点效应（HotSpot...
GTM如何实现同城容灾
常见问题 故障切换时间是多少？在健康检查间隔设置为15秒，TTL10秒，连续失败次数3次的配置下，GTM能在1分钟左右准确发现故障并切换，故障切换后理论上10秒左右可以全网生效，但实际情况取决于全国各地运营商的缓存设置时间。DNS未使用云...
故障排查与常见问题
控制台访问集群异常问题排查 组件异常问题排查 ACK Serverless集群 故障排查 常见问题索引 集群类型 相关文档 托管版与专有版容器集群ACK 常见问题 ACK Serverless集群 常见问题 分布式云容器平台ACK One 常见问题 容器服务ACK发行版 常见...
GTM实现跨网访问加速与故障切换
常见问题 故障切换时间是多少？在健康检查间隔设置为15秒，TTL10秒，连续失败次数3次的配置下，GTM能在1分钟左右准确发现故障并切换，故障切换后理论上10秒左右可以全网生效，但实际情况取决于全国各地运营商的缓存设置时间。DNS未使用云...
- 产品推荐
- 这些文档可能帮助您