aiops异常检测算法（aiops 异常检测）

本篇文章给大家谈谈aiops异常检测算法，以及aiops 异常检测对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。 今天给各位分享aiops异常检测算法的知识，其中也会对aiops 异常检测进行解释，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在开始吧！

本文目录一览：

• 1、AIOps是什么？
• 2、AIOps:有大量服务器监控指标的情况下如何做异常检测？
• 3、为什么很多大型企业都在采用AIOps?
• 4、华为AIOps使能服务加速新基建运维智能化转型
• 5、IT运维平台算法背后的两大“神助攻”
• 6、AIOps对比传统运维工具的优势？

AIOps是什么？

AIOps，顾名思义是将AI赋能于IT运维管理。国际权威咨询机构Gartner在2016年的报告里首次提出AIOps的概念。

传统的IT运维工作，大多是借助监控软件查看数据，并依赖运维人员的经验进行根因定位和排障。有了AI的加持后，可以借助AI算法提前发现数据中的异常，并通过数据串联锁定可能根因，大大缩短故障处理时间、提高运维效率。

经过多年来的发展，越来越多的大中型企业投入智能运维AIOps的部署，以应对企业数字化转型带来的数据量暴增、系统架构复杂带来的运维挑战。

Gartner在其2022年的AIOps报告中也指出：Yes, There is no doubt: There is no future of IT operations that does not include AIOps. 毫无疑问，不包含AIOps的IT运维不会有未来。

相信在不久的将来，传统运维将渐渐被智能运维AIOps所替代。

通常，AIOps智能运维系统包含这几个功能模块：

AIOps:有大量服务器监控指标的情况下如何做异常检测？

在搭建服务器时，除了部署webapp之外，还需要服务的异常信息与服务器性能指标进行监控，一旦有异常则通知管理员。
服务器使用Linux+Nginx-1.9.15+Tomcat7+Java搭建的。
编写脚本检测错误日志和服务器性能指标，一旦新生错误日志或者性能降低到设定的阈值时，则使用云监控将报警上传到云账号。
服务运行监控
错误日志包含以下三个方面：
nginx 错误信息监控(nginx.conf配置)
${NGINX_HOME}/logs/error.log
tomcat 错误信息监控(server.xml配置)
${TOMCAT_HOME}/logs/catalina.out
webapp错误信息监控(log4j)
${WEBAPP_HOME}/log/error

为什么很多大型企业都在采用AIOps?

这是因为目前，IT运维管理面临着两难境地的巨大挑战，一方面要降低成本，另一方面其复杂度又不断攀升。主要体现在数据量巨大、数据类型繁多和数据生成速度快三个维度：

IT基础架构和应用程序产生的数据量快速增长（年增长2-3倍）

机器和人工生成的数据类型越来越多（例如指标、日志、网络数据和知识管理文档）

由于采用了云架构和其他临时性的架构，数据生成速度不断提高，IT架构内变化速率也在提高

鉴于现代企业所需的洞察力，对这三个维度进行权衡的代价将相当巨大。因此，越来越多的客户对AIOps越来越感兴趣，并想通过大数据和机器学习技术来分析服务台的有效性，以此参与到故障和问题解决流程中去。IT组织还开始在DevOps环境中探索AIOps，将其作为持续集成/持续交付（CI/CD）周期的一部分，便于在部署之前预测潜在的问题，并检测潜在的安全问题。

AIOps分析的应用超越了其最初的使用范围，而成为IT运维中事件关联和分析的最佳解决方案。

如何通过AIOps手段增加运维效能和降低运维成本，对于企业来说都是很大的挑战。而致力于智能运维AIOps领域的擎创科技，已经为国内多家银行和证券用户成功部署夏洛克AIOps平台，助力企业运维降本增效：

强大自研数据采集器：支持Linux、Windows、AIX等多种系统，可采集除日志外的性能数据、网络数据、CMDB数据等各类数据；

创新的数据流处理方式：单数据流峰值每秒采集350000 条，可处理日增数据30TB；

人工智能算法：与复旦大学运维实验室共研10+种人工智能算法，异常检测和根因定位更容易。

目前，AIOps主要用于IT运维，且在企业中日益占据主导地位，而一些成熟的组织已正在利用该技术为企业领导者提供决策支撑。企业基础设施与运维负责人应该尽早启动AIOps平台部署工作，优化当前的性能分析，并在未来两年至五年内扩展至IT服务管理和自动化领域。

华为AIOps使能服务加速新基建运维智能化转型

人工智能经历了六十多年aiops异常检测算法的浮浮沉沉aiops异常检测算法，随着计算算力aiops异常检测算法的进步，算法aiops异常检测算法的创新和互联网发展下的海量数据积累，人工智能技术未来十年将焕发出新的活力，成为最具有冲击力的 科技 发展趋势之一。

在HUAWEI CONNECT 2020期间，华为基于对电信领域的深刻理解和多年经验沉淀，带来了《AIOps使能服务》的分享，旨在结合电信领域应用场景，使能网络达到自动、自愈、自优和自治的自动驾驶网络，提升整个网络的效率，降低OPEX。

AIOps成为电信网络运维智能化转型趋势

随着“5G 新基建”的加速实施，数字经济发展迎来新的动能。不仅推动投资消费的快速成长，还将驱动各行业的数字化转型升级。随之而来的是网络问题复杂化与业务质量高要求的挑战，运维能力的演进成为电信网络能否持续发挥效能的关键因素。

电信网络运维作业正面临问题发现被动（75% 问题由用户发现），故障根因定位难（90% 时间用于问题定位）的业务挑战。同时，各专业运维支撑系统功能也面临开发周期长，闭环流程自动化程度低的技术瓶颈。因此，运营商期望引入AI实现智能运维，做到主动维护和故障自愈。

在运维支撑系统的演进方向上，AIOps（运用AI及大数据技术解决运维问题）已经成为电信行业运维智能化转型的趋势和共识：构建AIOps平台能力，支撑不同运维场景应用。在未来五年内，电信行业市场的运维系统和平台将加速AI能力的升级，成为电信领域AI应用的核心场景，投资占比达到60%。

因此，AIOps已经成为电信网络运维智能化转型趋势。通过构建电信领域AIOps平台能力，快速实现智能运维升级。

华为AIOps助力网络提升可靠性及使能智能化运维

按照自动驾驶网络的等级定义，运维的智能化目标是要实现全域、全流程的预测性运维，自动监控、定位、自愈。

华为AIOps使能服务作为自动驾驶网络AI引擎NAIE的核心能力，基于AI平台，提供了一系列的电信领域AIOps原子能力以及组合编排能力，使能网络管控析单元、智能运维解决方案等运维系统，最终帮助运营商打破原有的烟囱式建设方式，将各专业运维系统的应用与AI能力解耦，采用分层的服务化架构对接共享数据中心，集中提供AIOps能力，适配运维场景应用百花齐放的需求。

如下是华为AIOps使能服务预组合编排好的服务，可开箱即用：

kpi异常检测服务， 快速智能识别海量kpi/kqi的异常情况，广泛应用在网络性能和质量监控场景；

故障识别与根因定位服务， 根据海量告警结合对应网络拓扑和传播知识，实时识别故障及根因网元及告警，可自动学习知识规律，保证持续优化，可广泛应用在各种网络场景；

日志异常检测服务， 实现日志的自动分类和统计规律发掘，实时监控出系统的异常行为和相关日志，可广泛应用在IT及电信网络场景；

硬盘异常预测， 可智能预测短期内（14天）的硬盘故障，以采取规避预防措施，以免对业务产生影响，广泛支持主流厂商的HDD及SSD型号。

细数华为AIOps使能服务四大核心竞争力

提供丰富的AIOps原子能力： AIOps的原子能力覆盖运维全流程，包括预测、检测，定位、执行。原子能力库支持流量预测，故障预测，KPI异常检测，日志异常检测，CHR异常检测，异常关联分析，事件聚合，根因定位等20+原子能力。

作为电信领域的AIOps使能服务，具备两个核心特点：一是基于华为电信领域的经验，原子能力将AI算法与电信领域行业知识融合，预制了默认的电信领域模型参数，同时支持现网运行态的调优，解决当前通用算法模型在具体行业落地效果差的难题。目前，已经在现网得到了规模验证。

另一个是AIOps原子能力采用标准化模型规范，统一数据输入，参数配置，结果输出等接口。为AIOps单点原子能力到灵活的组合串接提供了基础。

组合编排与DevOps能力： 通过组合编排功能，使用者可选择业务场景所需的AIOps原子能力，通过可视化方式完成流程串接，并进行业务泛化参数配置，包括数据接入方式，模型参数，内置电信领域泛化参数，事件通知方式、可视化Dashboard等配置。上述能力支持可视化编排或接口调用方式实现。此外，基于NAIE平台训练服务，AIOps的原子能力库支持使用者根据实际业务需求开展算法模型的创新与开发，不断扩展AIOps能力。NAIE的生态服务也提供专业的人员培训赋能。

支持电信领域数据对接： 支持KPI、告警、日志、xDR等电信领域主流运维数据。支持Kafka，数据库，文件系统，Restful等电信运维系统的主流数据对接方式。AIOps使能服务提供通用的数据源对接和标准化数据治理组件，通过配置项快速建立与运维系统的数据源连接，通过SDK将不同的数据类型和格式治理成标准化的AIOps原子能力输入集，用于模型训练和推理。

场景组合服务： 围绕运维全流程（发现、分析、处理）提供预制典型场景组合应用，快速接入运维流程。

综上所述，华为AIOps使能服务作为智能运维AI能力引擎，融合AI的技术优势与华为在电信领域的专业优势，为运维系统的智能化演进提供AIOps平台能力支持，助力到各专业运维系统的应用快速上线，让运维专家专注场景应用设计和业务目标达成。

华为AIOps助力运营商及企业网络打造最佳实践

在KPI异常检测方面，电信网络中，通过KPI来预测和检测网络问题是最普遍的场景。通过AI算法基于 历史 数据自动生成每个KPI的动态门限，避免传统静态门限带来的误报和漏报。

华为NAIE融合了电信领域的运维业务特点，提供单指标/多指标检测，异常原因关联分析，模型的自学习调优等关键能力。目前已经用在核心网，无线，数通等不同业务领域。国内某运营商采用了核心网KPI异常检测服务以后，实现提前5小时识别异常并主动预警，降低了业务损失。

在告警根因定位方面，发现异常或者故障之后的定位是运维流程中的难点，如何准确的将多维度的异常、告警等事件进行汇聚，减少故障噪声，准确定位到具体原因？这些工作目前主要依赖专家经验或者手工分析，而且受限于分析算力和知识信息，效果并不好。

华为NAIE AIOps通过AI算法与业务的融合，支持多类异常/告警等事件的智能故障定位，自动实现时间，拓扑和故障传播图等维度的事件汇聚和根因定位。目前已经应用到无线接入网等业务领域，经过实际验证，无效上站减少60%，根因识别准确率85%+，运维效率整体提升15%。

写在最后，电信领域AIOps落地的关键是需要将行业知识与AI技术融合。网络运维系统的AIOps能力构建的趋势是业务与能力解耦，做到AIOps能力的复用、拉通，支持，适配运维场景应用百花齐放和快速上线迭代的需求。

因此，AIOps使能服务作为智能运维AI能力引擎，融合AI的技术优势与华为在电信领域的专业优势，为运维系统的智能化演进提供AIOps平台能力支持，助力到各专业运维系统的应用快速上线，让运维专家专注场景应用设计和业务目标达成。目前，华为AIOps使能服务已经在无线，核心网，数通等网络域得到了广泛的应用。

IT运维平台算法背后的两大“神助攻”

智能运维(AIops)是目前 IT 运维领域最火热的词汇，全称是 Algorithmic IT operations platforms，正规翻译是『基于算法的 IT 运维平台』，直观可见算法是智能运维的核心要素之一。
本文主要谈算法对运维的作用，涉及异常检测和归因分析两方面，围绕运维系统Kale 中 skyline、Oculus 模块、Opprentice 系统、Granger causality（格兰杰因果关系）、FastDTW 算法等细节展开。

一、异常检测

异常检测，是运维工程师们最先可能接触的地方了。毕竟监控告警是所有运维工作的基础。设定告警阈值是一项耗时耗力的工作，需要运维人员在充分了解业务的前提下才能进行，还得考虑业务是不是平稳发展状态，否则一两周改动一次，运维工程师绝对是要发疯的。

如果能将这部分工作交给算法来解决，无疑是推翻一座大山。这件事情，机器学习当然可以做到。但是不用机器学习，基于数学统计的算法，同样可以，而且效果也不差。

异常检测之Skyline异常检测模块

2013年，Etsy 开源了一个内部的运维系统，叫 Kale。其中的 skyline 部分，就是做异常检测的模块， 它提供了 9 种异常检测算法 ：

first_hour_average、

simple_stddev_from_moving_average、

stddev_from_moving_average、

mean_subtraction_cumulation、

least_squares

histogram_bins、

grubbs、

median_absolute_deviation、

Kolmogorov-Smirnov_test

简要的概括来说，这9种算法分为两类：

从正态分布入手：假设数据服从高斯分布，可以通过标准差来确定绝大多数数据点的区间；或者根据分布的直方图，落在过少直方里的数据就是异常；或者根据箱体图分析来避免造成长尾影响。

从样本校验入手：采用 Kolmogorov-Smirnov、Shapiro-Wilk、Lilliefor 等非参数校验方法。

这些都是统计学上的算法，而不是机器学习的事情。当然，Etsy 这个 Skyline 项目并不是异常检测的全部。

首先，这里只考虑了一个指标自己的状态，从纵向的时序角度做异常检测。而没有考虑业务的复杂性导致的横向异常。其次，提供了这么多种算法，到底一个指标在哪种算法下判断的更准？这又是一个很难判断的事情。

问题一： 实现上的抉择。同样的样本校验算法，可以用来对比一个指标的当前和历史情况，也可以用来对比多个指标里哪个跟别的指标不一样。

问题二： Skyline 其实自己采用了一种特别朴实和简单的办法来做补充——9 个算法每人一票，投票达到阈值就算数。至于这个阈值，一般算 6 或者 7 这样，即占到大多数即可。

异常检测之Opprentice系统

作为对比，面对相同的问题，百度 SRE 的智能运维是怎么处理的。在去年的 APMcon 上，百度工程师描述 Opprentice 系统的主要思想时，用了这么一张图：

Opprentice 系统的主体流程为：

KPI 数据经过各式 detector 计算得到每个点的诸多 feature；

通过专门的交互工具，由运维人员标记 KPI 数据的异常时间段；

采用随机森林算法做异常分类。

其中 detector 有14种异常检测算法，如下图：

我们可以看到其中很多算法在 Etsy 的 Skyline 里同样存在。不过，为避免给这么多算法调配参数，直接采用的办法是：每个参数的取值范围均等分一下——反正随机森林不要求什么特征工程。如，用 holt-winters 做为一类 detector。holt-winters 有α，β，γ 三个参数，取值范围都是 [0, 1]。那么它就采样为 (0.2, 0.4, 0.6, 0.8)，也就是 4 ** 3 = 64 个可能。那么每个点就此得到  64  个特征值。

异常检测之

Opprentice 系统与 Skyline 很相似

Opprentice 系统整个流程跟 skyline 的思想相似之处在于先通过不同的统计学上的算法来尝试发现异常，然后通过一个多数同意的方式/算法来确定最终的判定结果。

只不过这里百度采用了一个随机森林的算法，来更靠谱一点的投票。而 Etsy 呢？在 skyline 开源几个月后，他们内部又实现了新版本，叫 Thyme。利用了小波分解、傅里叶变换、Mann-whitney 检测等等技术。

另外，社区在 Skyline 上同样做了后续更新，Earthgecko 利用 Tsfresh 模块来提取时序数据的特征值，以此做多时序之间的异常检测。我们可以看到，后续发展的两种 Skyline，依然都没有使用机器学习，而是进一步深度挖掘和调整时序相关的统计学算法。

开源社区除了 Etsy，还有诸多巨头也开源过各式其他的时序异常检测算法库，大多是在 2015 年开始的。列举如下：

Yahoo! 在去年开源的 egads 库。(Java)

Twitter 在去年开源的 anomalydetection 库。(R)

Netflix 在 2015 年开源的 Surus 库。(Pig，基于PCA)

其中 Twitter 这个库还被 port 到 Python 社区，有兴趣的读者也可以试试。

二、归因分析

归因分析是运维工作的下一大块内容，就是收到报警以后的排障。对于简单故障，应对方案一般也很简单，采用 service restart engineering~ 但是在大规模 IT 环境下，通常一个故障会触发或导致大面积的告警发生。如果能从大面积的告警中，找到最紧迫最要紧的那个，肯定能大大的缩短故障恢复时间(MTTR)。

这个故障定位的需求，通常被归类为根因分析（RCA，Root Cause Analysis）。当然，RCA 可不止故障定位一个用途，性能优化的过程通常也是 RCA 的一种。

归因分析之 Oculus 模块

和异常检测一样，做 RCA 同样是可以统计学和机器学习方法并行的~我们还是从统计学的角度开始。依然是 Etsy 的 kale 系统，其中除了做异常检测的 skyline 以外，还有另外一部分，叫 Oculus。而且在 Etsy 重构 kale 2.0 的时候，Oculus 被认为是1.0 最成功的部分，完整保留下来了。

Oculus 的思路，用一句话描述，就是：如果一个监控指标的时间趋势图走势，跟另一个监控指标的趋势图长得比较像，那它们很可能是被同一个根因影响的。那么，如果整体 IT 环境内的时间同步是可靠的，且监控指标的颗粒度比较细的情况下，我们就可能近似的推断：跟一个告警比较像的最早的那个监控指标，应该就是需要重点关注的根因了。

Oculus 截图如下：

这部分使用的 计算方式有两种：

欧式距离，就是不同时序数据，在相同时刻做对比。假如0分0秒，a和b相差1000，0分5秒，也相差1000，依次类推。

FastDTW，则加了一层偏移量，0分0秒的a和0分5秒的b相差1000，0分5秒的a和0分10秒的b也相差1000，依次类推。当然，算法在这个简单假设背后，是有很多降低计算复杂度的具体实现的，这里就不谈了。

唯一可惜的是 Etsy 当初实现 Oculus 是基于 ES 的 0.20 版本，后来该版本一直没有更新。现在停留在这么老版本的 ES 用户应该很少了。除了 Oculus，还有很多其他产品，采用不同的统计学原理，达到类似的效果。

归因分析之 Granger causality

Granger causality（格兰杰因果关系）是一种算法，简单来说它通过比较“已知上一时刻所有信息，这一时刻 X 的概率分布情况”和“已知上一时刻除 Y 以外的所有信息，这一时刻 X 的概率分布情况”，来判断 Y 对 X 是否存在因果关系。

可能有了解过一点机器学习信息的读者会很诧异了：不是说机器只能反应相关性，不能反应因果性的么？需要说明一下，这里的因果，是统计学意义上的因果，不是我们通常哲学意义上的因果。

统计学上的因果定义是：『在宇宙中所有其他事件的发生情况固定不变的条件下，如果一个事件 A 的发生与不发生对于另一个事件 B 的发生的概率有影响，并且这两个事件在时间上有先后顺序（A 前 B 后），那么我们便可以说 A 是 B 的原因。』

归因分析之皮尔逊系数

另一个常用的算法是皮尔逊系数。下图是某 ITOM 软件的实现：

我们可以看到，其主要元素和采用 FastDTW 算法的 Oculus 类似：correlation 表示相关性的评分、lead/lag 表示不同时序数据在时间轴上的偏移量。

皮尔逊系数在 R 语言里可以特别简单的做到。比如我们拿到同时间段的访问量和服务器 CPU 使用率：

然后运行如下命令：

acc_count<-scale(acc$acc_count,center=T,scale=T)

cpu<-scale(acc$cpuload5,center=T,scale=T)

cor.test(acc_count,cpu)

可以看到如下结果输出：

对应的可视化图形如下：

这就说明网站数据访问量和 CPU 存在弱相关，同时从散点图上看两者为非线性关系。因此访问量上升不一定会真正影响 CPU 消耗。

其实 R 语言不太适合嵌入到现有的运维系统中。那这时候使用 Elasticsearch 的工程师就有福了。ES 在大家常用的 metric aggregation、bucket aggregation、pipeline aggregation 之外，还提供了一种 matrix aggregation，目前唯一支持的 matrix_stats 就是采用了皮尔逊系数的计算，接口文档见：

https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-matrix-stats-aggregation.html

唯一需要注意的就是，要求计算相关性的两个字段必须同时存在于一个 event 里。所以没法直接从现成的 ES 数据中请求不同的 date_histogram，然后计算，需要自己手动整理一遍，转储回 ES 再计算。

饶琛琳，目前就职日志易，有十年运维工作经验。在微博担任系统架构师期间，负责带领11人的SRE团队。著有《网站运维技术与实践》、《ELKstack权威指南》，合译有《Puppet 3 Cookbook》、《Learning Puppet 4》。在众多技术大会上分享过自动化运维与数据分析相关主题。

AIOps对比传统运维工具的优势？

当前aiops异常检测算法，随着企业数字业务的快速发展和业务量的攀升aiops异常检测算法，企业信息系统架构的升级变迁，以及企业多套业务系统的在线运营，各类监控组件和应用系统间的关系错综复杂，系统运维的难度也急剧增加，且面临着巨大挑战。

在传统运维方式下，数据规模大且离散，数据治理和全面分析能力薄弱且依赖于经验和规则，运维十分被动，解决问题效率非常低下，运维的实用性大打折扣，难以满足当前主动运营的要求。

具体来说有以下几点：

发现问题难：企业在经年累月中布局aiops异常检测算法了诸多监控工具，但是监控手段阈值的设定单一，且一般都是静态阈值，而指标和告警的异常却是多样化的，这样就会造成大量的误报漏报现象。此外，目前绝大多数的监控工具，缺乏趋势预测能力，使得运维局面非常被动，导致发现问题十分困难。

根因定位难：发现问题时一般都是对问题进行定性分析，可能aiops异常检测算法了解到某一告警对应的指标波动是值得关注的，但是并不能因此确定造成这种现象具体根因。而且目前的监控工具，大多缺乏综合根因定界及定位分析的手段，即便对监控进行了集中管理，也难以通过单纯的几种指标进行根因定位。

数据治理难：当数字化建设进行到一定程度的时候，被管理对象的数据量相应的也是水涨船高，数据数量大、类别多且非常分散，很难通过某一指标体系来衡量系统的健康度，也没有一个统一的视角去判断数据质量的好坏优劣。

运营分析难：现有的大多数基础监控工具，多数都是从自己的管理阈例如系统管理、网络管理出发看待问题，缺乏端到端的分析能力，没办法以业务视角从综合运营分析的角度，去看待多样化指标对系统的影响。

而智能运维是一种全新的数字化运维能力，也将是数字化转型的必备能力。智能运维相对于传统运维模式而言，能够在运维数据治理、业务数字化风险、运维人力成本和业务侧影响力四个方面有本质的效能提升。

智能运维相对于传统运维模式而言，能够在四个方面有本质的效能提升：

运维数据治理。通过高性能实时处理的数据平台广泛采集、处理和分析数字化业务运行过程中的多样化运维数据，包括告警、指标、日志、配置以及运维工单等类别，不仅提升了运维大数据的治理能力，优化了数据质量，而且为进一步激活运维数据的价值打下了良好基础；

业务数字化风险。使运维人员不仅提升了历史运维数据的分析能力并且能够对实时数据进行异常检测和问题预判，有效降低数字化业务的运行风险，提升可用性、稳定性；

运维人力成本。使真正意义上的跨域根因定位成为可能，降低对专业运维人员经验技能的依赖，迅速缩短故障排查时间并有效降低人力成本；

业务侧影响力。以业务视角利用多元化数据提高运营分析和决策能力，比如端到端的分析业务交易状态，提供给业务、客服部门及时反馈和决策支持依据，充分增强业务影响力；

智能运维发展正如火如荼，Gartner预见其为下一代运维，认为到2022年将有近50%的企业用户部署智能运维。虽然目前不少企业已经在积极投入建设，也还有一些企业处在迷茫阶段，对这种趋势不太清晰，借用著名作家威廉吉布森的话，“未来已来，只是分布不均。”

关于aiops异常检测算法和aiops 异常检测的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。 aiops异常检测算法的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于aiops 异常检测、aiops异常检测算法的信息别忘了在本站进行查找喔。