故障管理
故障管理概述 故障管理是源于ITIL的一个概念，在IT企业或者互联网企业进行故障管理的目的是当生产环境出现重大宕机时尽快恢复正常的服务运营，将组件失败对业务所造成的负面影响降到最低，从而确保满足事先与业务客户之间所约定的服务级别...
故障复盘
故障复盘规范 故障复盘作为故障体系中的重要一环，整体复盘流程包括故障处理过程、改进分析、故障定责，基于包含标准化的复盘SOP、对应预防action推荐、问责管理机制，全面地回溯线上故障的发生，产出故障复盘报告和改进措施，避免故障重复...
故障应急协同
故障通告及更新 基于7x24监控值班工作特性，对于业务异常达到故障等级时，以用户定制的（语音、短信、IM）的方式在约定时间内将故障影响信息以及处理进展通知给对应的接收人/组，并持续更新直至故障结束。故障应急协同群 故障发生后，可以...
添加或替换密钥对
openssh-key ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDdlrdZwV3+GF9q7rhc6vYrExwT4WU4fsaRcVXGV2Mg9RHex21hl1au77GkmnIgukBZjywlQOT4GDdsJy2nBOdJPrCEBIPxxxxxxxxxxx/fctNuKjcmMMOA8YUT+sJKn3l7rCLkesE+S5880yNdRjBiiUy40kyr7Y+...
FAQs
重要 故障发现时间：GTM可保障故障发现时间，目前默认的健康检查配置可以在故障的4分钟左右准确发现故障并切换；DNS切换同步时间：GTM无法保障全网的最终生效时间，因受限于全国各地运营商的TTL缓存设置以及网络环境不同，所以全网生效时间...
什么是故障
本文主要介绍什么是故障。定义 在日常运营中，无论什么原因导致业务服务中断、服务品质下降或用户服务体验下降的现象，称为故障，但不包括用户侧环境或用户自身操作引起的问题。“用户体验下降”说明故障的核心要关注用户感受，可通过客服...
故障应急
故障管理体系是围绕故障全生命周期采取的一系列控制流程，包括故障基础数据管理（故障等级定义、应急场景监控覆盖、服务组&值班表管理、故障订阅管理），故障发现（7*24监控值班、智能基线告警），故障应急协同（故障通告及更新、故障应急...
实例的节点故障处理机制
本文档介绍云数据库MongoDB版实例的节点故障处理机制。单节点实例 由于单节点实例架构的特殊性，单节点实例仅拥有一个节点。当节点发生故障后，系统会对故障节点进行检查与修复。节点故障期间实例的相关服务不可用。说明 单节点实例适用于...
故障注入
您可以通过故障注入功能向测试应用注入故障，检测应用面对异常时的处理情况。您可以根据检测的情况调整您的应用，以减少应用在正式使用时出现的异常问题。多用于测试环境。功能简介 故障注入流程如下所示：在微服务中，其实现方式为：管控...
故障注入
您可以通过故障注入功能向测试应用注入故障，检测应用面对异常时的处理情况。您可以根据检测的情况调整您的应用，以减少应用在正式使用时出现的异常问题。多用于测试环境。配置故障注入规则 登录 SOFAStack 控制台。在左侧菜单栏选择 ...
故障基础数据管理
故障场景等级定义 日常运营中，除用户方环境或自身操作引起的问题外，无论什么原因导致的服务中断、服务品质下降或用户服务体验下降的现象，都称为故障。对故障影响程度的划分就是故障等级定义。定义故障等级是为了指定故障等级定义作为各...
故障演练
高速通道故障演练功能是一种模拟故障场景的工具。例如，模拟在高速通道冗余链路中的一条链路发生故障时，网络流量会自动切换至其他冗余链路的场景。借助该工具，您可以测试和验证您与阿里云组建的混合云组网的可靠性。重要 故障演练会通过...
故障隔离
故障隔离是在服务实例出现故障时，实现实例级别的精细化摘流隔离，使故障影响范围更小，提高服务的可用性。添加故障隔离规则 登录 SOFAStack 控制台。在左侧菜单栏选择 中间件>微服务平台>服务网格>服务治理，然后单击 故障隔离 页签。单击...
API概览
API 描述 CreateProblem 故障升级 GetProblemImprovement 故障复盘改进详情 GetProblemPreview 获取故障通知预览 UpdateProblemImprovement 更新故障复盘改进详情 CancelProblem 取消故障 CreateProblemSubtotal 故障新增备注小计 ...
演练概述
基于阿里巴巴多年业务的真实线上故障库的积累，AHAS故障演练模块为您预定义了丰富的测试任务，检验应用的高可用能力。故障演练支持对部署在阿里云ECS实例、容器服务Kubernetes集群、K8s架构类应用、Java类应用进行故障演练。完整的故障演练...
设计方案
从提前发现系统风险、提升测试质量、完善风险预案、加强监控告警、提升故障应急效率等方面做到故障发生前有效预防，故障发生时及时应对，故障恢复后回归验证。基于故障本身打造分布式系统韧性，持续提升软件质量，增强团队对软件生产运行的...
如何排查Java场景下故障注入不生效的问题
在对Java进程注入故障时，可能会出现故障注入失败的情况。为解决此类问题，在创建或编辑演练时，您可以在故障执行阶段选择开启Debug模式，并通过相关的日志信息来了解故障注入失败的原因。开启Debug模式 在查看目标演练的故障注入日志前，...
如何管理事件
故障状态：处理中（升级时故障还在处理中），输入发现故障的时间、已恢复（升级时故障已恢复），输入故障生成的时间和故障恢复的时间；所属服务：升级故障所属的 服务；影响服务：选择 影响服务（可多选）；进展摘要：处理人将事件升级为...
EMR Kafka磁盘故障运维
磁盘故障及其运维通常伴随着磁盘上的数据销毁。在进行磁盘运维时，您应考虑数据是否需要迁移备份。对于Kafka集群，您还需要考虑Topic分区副本数据是否可以从其他Broker节点分区副本同步恢复。本文以EMR Kafka 2.4.1版本为例，介绍Kafka磁盘...
代码逻辑场景
本文列出了故障演练支持的代码逻辑场景。篡改Java方法返回值 修改Java指定方法的返回值，返回指定的值。具体示例，请参见 JVM注入动态脚本。参数名称 是否必选 默认值 参数说明 类名 是 无 完整的类名，包含包名。例如：...
运维事件中心的审计事件
事件名称 事件含义 AddProblemServiceGroup 新增故障应急协同组。BillingStatistics 计费展示。CancelProblem 故障取消。CheckWebhook 校验Webhook。ConfirmIntegrationConfig 确认集成配置。Create 登录产品售卖页面进行的购买操作。...
什么是故障演练
故障演练是一款遵循混沌工程实验原理并融合了阿里巴巴内部实践的产品，提供丰富故障场景，能够帮助分布式系统提升容错性和可恢复性。流程 故障演练建立了一套标准的演练流程，包含准备阶段、执行阶段、检查阶段和恢复阶段。通过四阶段的...
GetProblem-故障详情
故障详情。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求头 该接口使用公共请求头，无特殊请求头。请参见公共请求参数文档。请求语法 POST/problem/...
同城多活架构实践
虽然故障最终得以解决，但故障导致的客户流失和企业口碑影响，对快速发展的业务造成不小的打击，迫使企业开始重视同城多活容灾能力的建设，以及定期做故障演练确保故障恢复能力的有效性。同城多活架构改造 基于MSHA多活容灾解决方案，您...
步骤五：应用容灾
当被保护的服务器完成阿里云复制服务（AReS）安装并重启后，您就可以对受保护的服务器启动、停止容灾复制、故障切换、容灾演练等一系列的应用容灾操作。前提条件 已安装阿里云复制服务。更多信息，请参见 步骤四：安装阿里云复制服务。操作...
故障恢复
PROBLEM_UPDATE 通告类型 PROBLEM_NOTIFY：故障通告 PROBLEM_UPDATE：故障更新 PROBLEM_UPGRADE：故障升级 PROBLEM_DEGRADE：故障降级 PROBLEM_RECOVER：故障恢复 PROBLEM_REISSUE：故障补发 PROBLEM_CANCEL：故障取消 返回数据 名称 类型 ...
故障取消
故障取消 调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求头 该接口使用公共请求头，无特殊请求头。请参见公共请求参数文档。请求语法 POST/problem/...
故障处理流程
当智能接入网关设备发生网络故障后，您可以先观察现象、收集信息，然后对现象和信息进行分析诊断，尝试修复问题。本文为您介绍智能接入网关设备故障处理流程。SAG-100WM故障处理流程说明 通过SAG-100WM访问阿里云，发现故障，请参见以下...
故障撤销恢复
NOTIFY：故障通告 PROBLEM_UPDATE：故障更新 PROBLEM_UPGRADE：故障升级 PROBLEM_DEGRADE：故障降级 PROBLEM_RECOVER：故障恢复 PROBLEM_REISSUE：故障补发 PROBLEM_CANCEL：故障取消 clientToken String Body 否 FD200FAE-E98F-496E-BFE6-...
演练场景
故障演练是业务系统上线前必要的演练环节，旨在对应急预案的可行性，进一步完成应急预案，从而帮助提升产品、集群、机房的稳定性，减少故障的发生，提高故障应急效率，进而提升产品竞争力。一个完整的故障演练过程为 创建故障原子服务>创建...
故障演练
故障演练是整体容灾流程中极其重要的一环。本文介绍ECS容灾中故障演练的操作流程。故障演练的意义 故障演练将被容灾保护的服务器在云上拉起并验证应用正确性，是容灾流程整体中及其重要的一环，它的核心意义在于：方便地验证被容灾保护的...
故障演练
故障演练是整体容灾流程中极其重要的一环。本文介绍ECS容灾中故障演练的操作流程。故障演练的意义 故障演练将被容灾保护的服务器在云上拉起并验证应用正确性，是容灾流程整体中及其重要的一环，它的核心意义在于：方便地验证被容灾保护的...
故障发现
7*24监控值班 对于有条件的企业，可以设立全球运行指挥中心（Global Operations Center，简称GOC），实现7*24监控值班，时刻关注核心业务线上异常与故障。对于完成监控覆盖的核心业务场景，在异常上报时，通过工具自动检测或值班人员人工...
更新故障通告
故障升级 PROBLEM_DEGRADE：故障降级 PROBLEM_RECOVER：故障恢复 PROBLEM_REISSUE：故障补发 PROBLEM_CANCEL：故障取消 problemId Long Body 否 1312 故障Id clientToken String Body 否 4361a0e1-6747-4834-96ce-0c4840fd3812 幂等校验Id ...
电源故障定位
您可以参考以下方法定位电源故障并进行处理流程。诊断流程 电源故障详细处理流程，如下图所示。处理步骤 测量输入电压。使用万用表测量输入电压，根据电源适配器的工作电压范围判断输入电压是否异常。插拔电源适配器。把电源适配器以及电源...
跨可用区容灾
当生产站点因为不可抗力因素（比如机房火灾、断电）或者设备故障（软、硬件破坏）导致应用在短时间内无法恢复时，ECS容灾服务支持业务的跨可用区（Availability Zone）的容灾能力，对整体的应用做容灾备份来应对单地区的故障，满足业务的...
设计原则
面向风险的应急快恢原则 在一些场景下，即使设计了各种技术手段去提高系统的冗余、保持业务的高可用，但还是避免不了生产系统故障的发生，所以需要面对故障建立一个高效的故障应急流程机制和稳定的技术平台，实现故障风险实时发现、应急...
读多写少型业务场景多活实践
在杭州单元发生故障的情况下，可以使用MSHA切流功能将受影响的用户流量切换到另外的单元，进行快速业务恢复（这里区别于传统的思路，不是去排查、处理和修复故障，而是立即使用切流进行恢复，将业务恢复和故障恢复解耦）。容灾切换预期：将...
演练场景说明
故障演练场景是演练任务的核心。AHAS提供基础资源类场景和Kubernetes类场景，帮助分布式系统提升容错性和可恢复性。每一个执行阶段的演练场景都对应一个恢复阶段的演练任务。恢复阶段的演练任务目的是清除故障演练的影响，使应用或服务恢复...
流水单据型业务场景多活实践
说明 基于MSHA流量监控或其他监控能力，确定业务稳态的监控指标，以便在故障发生时判断故障影响面以及在故障恢复后判断业务的实际恢复情况。演练预期如下：下单链路对订单应用是强依赖，强依赖故障会影响业务不可用。故障爆炸半径控制在...
- 产品推荐
- 这些文档可能帮助您