如何快速进行故障根因定位分析，故障根因定位分析方法

本文将给大家介绍在超级互联网公司如何基于网络的故障根因自动定位技术，提高故障定位速度，从而提高业务可用性。

规模效应和云的效应极大提升了运维的复杂性

首先，我们先来看看超级互联网公司的业务架构示例图：

在超级互联网公司中，通常不同的层次都由不同的团队来负责运维管理，同层次不同的硬件/系统/应用都由不同的小组来负责运维管理。

就基础设施即服务这层来说，随着IT设备规模的不断增加，IT 设备故障的告警种类与告警数量也随之急剧增加。

告警的多面性、冗余性、耦合性，导致某些核心层面的故障会引起大面积告警的现象，而这些告警又有可能分属不同小组，运维人员处理故障会增加排查问题的难度以及增加小组间沟通成本。

同时因为对故障信息缺乏统一的管理，无法对告警系统进行反馈优化，致使误报漏报频出。同样也无法进行全面的故障信息统计分析，不知道如何对基础设施资源进行风险管理。

众所周知，IT基础设施层的运维工作，直接影响公司服务稳定性。一次服务中断事件便会对公司造成极大的经济损失。

但正如上述现状描述中提到的问题：

• 运维平台繁杂多样，

• 运维小组之间沟通滞后，

• 告警信息共享程度低，

• 工程师水平参差不齐，故障处理自动化程度较低。

告警系统缺乏有效的反馈机制进行系统优化，同时缺少全面有效的故障信息沉淀，无法帮助预算与评估采购系统进行合理采购。

这些都极大约束了运维水平的与时俱进，新的方法论和新的运维技术有迫切的内部需求。

我们收敛汇总一下复杂运维场景下的主要痛点：

• 如何在告警风暴时压缩告警

• 如何快速从大量告警中找到故障根源

• 如何提高不同运维小组的故障处理协作效率

• 如何实现对IT基础设施的风险管理

一、日志治理中如何快准狠进行日志异常检测

在复杂冗余的日志治理中我们主推的是用日志聚类算法去加强智能化检测的能力。做日志聚类有个首要前提是对日志进行分词即对格式语义进行区分，然后通过文本相似度算法把不同的日志分到不同的类别上。这样的算法，可以帮助运维人员解决很多问题。如下所示。

 △日志异常检测优化步骤

NO.1：自动发现全新的日志格式

对聚类后的日志进行时间序列的转计算，根据其历史特征去判别是否有全新的日志格式出现。新的日志格式代表两种情况，一种是从未出现过的故障，一种是应用变更。这样作为运维人员，能够及时处置故障或检查原有规则是否已经无效，尽早完成修复和调整。

NO.2：自动按格式分类日志

发现发生占特别小的日志，这类偶发日志中哪些值得关注？哪些不值得关注？用户不需要预先了解日志的详细含义，就可以自动过滤留下重要异常日志，经人工二次确认后及时安排维护。

NO.3：弥补传统日志关键字告警的局限

关键字告警只存在有和没有的两种情况，一般情况下某类日志发生量不会很大，如网口通断，但如果检测到某类日志突然大量增加，可能发生了严重故障，这是关键字告警无法做到的。

NO.4：日志聚类检测的定位

是传统日志平台基于关键字和规则告警的补充，并不是替代。它能够帮助运维人员更准确地找到故障问题、精准定位。

NO.5：根据日志情况评估适用性

并不是所有日志都适用于聚类检测算法，根据不同的日志类别属性进行筛选，如二进制的日志、Key Value的日志等，仍沿用原本的检测方法或其他检测方法效果会更好。

二、如何实现故障的根因定位

融合指标和日志是否可以一起为故障的根因定位提供更好的支持？这里我们分两个场景来进行实现。

1. 交易指标异常分析

   

通过主交易指标（以下简称主指标），如交易量、延时、成功率等的异常检测告警，触发系统指标、基础架构指标和主指标之间的关联定位，同时触发交易维度和主指标之间的关联定位，了解谁是因谁是果，快速去帮助用户定位故障源头和原因。

2.日志调用链嵌码

在不改造日志的前提下，通过APM工具，如SkyWalking，将调用链信息嵌入交易日志中，实现交易日志的串联；再通过调用链的延时数据发现交易异常，自动关联交易日志，实现快速定位。

以上两种场景已在落地实践中，虽然这样的改造十分艰难，过程十分漫长，但我们相信经过双方共同协作努力，未来的运维效率一定会到非常不错的提升。而睿象云指标解析中心、日志精析中心、日智速析专家三大产品也会持续尝试新的思路方法，不断演进，为客户的运维数字化转型提供源源不断的助力。

1、背景

有时候会遇到一些疑难杂症，并且监控插件并不能一眼立马发现问题的根源。这时候就需要登录服务器进一步深入分析问题的根源。那么分析问题需要有一定的技术经验积累，并且有些问题涉及到的领域非常广，才能定位到问题。所以，分析问题和踩坑是非常锻炼一个人的成长和提升自我能力。如果我们有一套好的分析工具，那将是事半功倍，能够帮助大家快速定位问题，节省大家很多时间做更深入的事情。

2、说明

本篇文章主要介绍各种问题定位的工具以及会结合案例分析问题。

3、分析问题的方法论

套用5W2H方法，可以提出性能分析的几个问题

What-现象是什么样的

When-什么时候发生

Why-为什么会发生

Where-哪个地方发生的问题

How much-耗费了多少资源

How to do-怎么解决问题

4、cpu

上文就是小编为大家整理的如何快速进行故障根因定位分析，故障根因定位分析方法。

国内(北京、上海、广州、深圳、成都、重庆、杭州、西安、武汉、苏州、郑州、南京、天津、长沙、东莞、宁波、佛山、合肥、青岛)睿象云智能运维平台软件分析、比较及推荐。