智能运维海量事件（运维 大数据）

本篇文章给大家谈谈智能运维海量事件，以及运维 大数据对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。 今天给各位分享智能运维海量事件的知识，其中也会对运维 大数据进行解释，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在开始吧！

本文目录一览：

• 1、智能运维是如何抑制告警风暴的？
• 2、智能运维适合哪些场景？都涉及哪些领域？
• 3、为什么很多大型企业都在采用AIOps?
• 4、华为AIOps使能服务加速新基建运维智能化转型
• 5、如何做好运维监控？
• 6、什么是AIOps智能运维？

智能运维是如何抑制告警风暴的？

通常智能运维中的告警收敛场景智能运维海量事件，以机器学习算法为驱动智能运维海量事件，对海量的告警事件进行降噪和关联分析智能运维海量事件，辅助根因定位并可沉淀故障处理的知识，从而提升企业的运维效率，降低运维成本。 告警产生后，AIOps系统通过算法甄别 内容相关性（重复性、相似性）、时序相关性和拓扑相关
性 事件来进行告警事件的自动化抑制。这类收敛抑制，往往能得到99%的告警压缩率，极大地提高了告警有效性。

在一个完整的智能运维告警产品里，除了告警收敛，还可以基于故障传播链及拓扑信息 ( 可选 ), 智能发现突发故障场景智能运维海量事件；基于告警“熵值”算法，实现告警的动态优先级推荐智能运维海量事件；通过时序以及拓扑关系定位故障场景根因，并进行根因标记。当这些都可以完成时，由告警事件一步步引导的根因定位和排障，才是真正智能运维发挥了作用。

智能运维适合哪些场景？都涉及哪些领域？

当代社会的生产生活智能运维海量事件，许多方面都依赖于大型、复杂的软硬件系统智能运维海量事件， 包括互联网、高性能计算、电信、金融、电力网络、物联网、 医疗网络和设备、航空航天、军用设备及网络等。这些系统的用户都期待有好的体验。 因而智能运维海量事件，这些复杂系统的部署、运行和维护都需要专业的运维人员，以应对各种突发事件，确保系统安全、可靠地运行。由于各类突发事件会产生海量数据，因此，智能运维从本质上可以认为是一个大数据分析的具体场景。

为什么很多大型企业都在采用AIOps?

这是因为目前，IT运维管理面临着两难境地的巨大挑战，一方面要降低成本，另一方面其复杂度又不断攀升。主要体现在数据量巨大、数据类型繁多和数据生成速度快三个维度：

IT基础架构和应用程序产生的数据量快速增长（年增长2-3倍）

机器和人工生成的数据类型越来越多（例如指标、日志、网络数据和知识管理文档）

由于采用了云架构和其他临时性的架构，数据生成速度不断提高，IT架构内变化速率也在提高

鉴于现代企业所需的洞察力，对这三个维度进行权衡的代价将相当巨大。因此，越来越多的客户对AIOps越来越感兴趣，并想通过大数据和机器学习技术来分析服务台的有效性，以此参与到故障和问题解决流程中去。IT组织还开始在DevOps环境中探索AIOps，将其作为持续集成/持续交付（CI/CD）周期的一部分，便于在部署之前预测潜在的问题，并检测潜在的安全问题。

AIOps分析的应用超越了其最初的使用范围，而成为IT运维中事件关联和分析的最佳解决方案。

如何通过AIOps手段增加运维效能和降低运维成本，对于企业来说都是很大的挑战。而致力于智能运维AIOps领域的擎创科技，已经为国内多家银行和证券用户成功部署夏洛克AIOps平台，助力企业运维降本增效：

强大自研数据采集器：支持Linux、Windows、AIX等多种系统，可采集除日志外的性能数据、网络数据、CMDB数据等各类数据；

创新的数据流处理方式：单数据流峰值每秒采集350000 条，可处理日增数据30TB；

人工智能算法：与复旦大学运维实验室共研10+种人工智能算法，异常检测和根因定位更容易。

目前，AIOps主要用于IT运维，且在企业中日益占据主导地位，而一些成熟的组织已正在利用该技术为企业领导者提供决策支撑。企业基础设施与运维负责人应该尽早启动AIOps平台部署工作，优化当前的性能分析，并在未来两年至五年内扩展至IT服务管理和自动化领域。

华为AIOps使能服务加速新基建运维智能化转型

人工智能经历了六十多年的浮浮沉沉，随着计算算力的进步，算法的创新和互联网发展下的海量数据积累，人工智能技术未来十年将焕发出新的活力，成为最具有冲击力的 科技 发展趋势之一。

在HUAWEI CONNECT 2020期间，华为基于对电信领域的深刻理解和多年经验沉淀，带来了《AIOps使能服务》的分享，旨在结合电信领域应用场景，使能网络达到自动、自愈、自优和自治的自动驾驶网络，提升整个网络的效率，降低OPEX。

AIOps成为电信网络运维智能化转型趋势

随着“5G 新基建”的加速实施，数字经济发展迎来新的动能。不仅推动投资消费的快速成长，还将驱动各行业的数字化转型升级。随之而来的是网络问题复杂化与业务质量高要求的挑战，运维能力的演进成为电信网络能否持续发挥效能的关键因素。

电信网络运维作业正面临问题发现被动（75% 问题由用户发现），故障根因定位难（90% 时间用于问题定位）的业务挑战。同时，各专业运维支撑系统功能也面临开发周期长，闭环流程自动化程度低的技术瓶颈。因此，运营商期望引入AI实现智能运维，做到主动维护和故障自愈。

在运维支撑系统的演进方向上，AIOps（运用AI及大数据技术解决运维问题）已经成为电信行业运维智能化转型的趋势和共识：构建AIOps平台能力，支撑不同运维场景应用。在未来五年内，电信行业市场的运维系统和平台将加速AI能力的升级，成为电信领域AI应用的核心场景，投资占比达到60%。

因此，AIOps已经成为电信网络运维智能化转型趋势。通过构建电信领域AIOps平台能力，快速实现智能运维升级。

华为AIOps助力网络提升可靠性及使能智能化运维

按照自动驾驶网络的等级定义，运维的智能化目标是要实现全域、全流程的预测性运维，自动监控、定位、自愈。

华为AIOps使能服务作为自动驾驶网络AI引擎NAIE的核心能力，基于AI平台，提供了一系列的电信领域AIOps原子能力以及组合编排能力，使能网络管控析单元、智能运维解决方案等运维系统，最终帮助运营商打破原有的烟囱式建设方式，将各专业运维系统的应用与AI能力解耦，采用分层的服务化架构对接共享数据中心，集中提供AIOps能力，适配运维场景应用百花齐放的需求。

如下是华为AIOps使能服务预组合编排好的服务，可开箱即用：

kpi异常检测服务， 快速智能识别海量kpi/kqi的异常情况，广泛应用在网络性能和质量监控场景；

故障识别与根因定位服务， 根据海量告警结合对应网络拓扑和传播知识，实时识别故障及根因网元及告警，可自动学习知识规律，保证持续优化，可广泛应用在各种网络场景；

日志异常检测服务， 实现日志的自动分类和统计规律发掘，实时监控出系统的异常行为和相关日志，可广泛应用在IT及电信网络场景；

硬盘异常预测， 可智能预测短期内（14天）的硬盘故障，以采取规避预防措施，以免对业务产生影响，广泛支持主流厂商的HDD及SSD型号。

细数华为AIOps使能服务四大核心竞争力

提供丰富的AIOps原子能力： AIOps的原子能力覆盖运维全流程，包括预测、检测，定位、执行。原子能力库支持流量预测，故障预测，KPI异常检测，日志异常检测，CHR异常检测，异常关联分析，事件聚合，根因定位等20+原子能力。

作为电信领域的AIOps使能服务，具备两个核心特点：一是基于华为电信领域的经验，原子能力将AI算法与电信领域行业知识融合，预制了默认的电信领域模型参数，同时支持现网运行态的调优，解决当前通用算法模型在具体行业落地效果差的难题。目前，已经在现网得到了规模验证。

另一个是AIOps原子能力采用标准化模型规范，统一数据输入，参数配置，结果输出等接口。为AIOps单点原子能力到灵活的组合串接提供了基础。

组合编排与DevOps能力： 通过组合编排功能，使用者可选择业务场景所需的AIOps原子能力，通过可视化方式完成流程串接，并进行业务泛化参数配置，包括数据接入方式，模型参数，内置电信领域泛化参数，事件通知方式、可视化Dashboard等配置。上述能力支持可视化编排或接口调用方式实现。此外，基于NAIE平台训练服务，AIOps的原子能力库支持使用者根据实际业务需求开展算法模型的创新与开发，不断扩展AIOps能力。NAIE的生态服务也提供专业的人员培训赋能。

支持电信领域数据对接： 支持KPI、告警、日志、xDR等电信领域主流运维数据。支持Kafka，数据库，文件系统，Restful等电信运维系统的主流数据对接方式。AIOps使能服务提供通用的数据源对接和标准化数据治理组件，通过配置项快速建立与运维系统的数据源连接，通过SDK将不同的数据类型和格式治理成标准化的AIOps原子能力输入集，用于模型训练和推理。

场景组合服务： 围绕运维全流程（发现、分析、处理）提供预制典型场景组合应用，快速接入运维流程。

综上所述，华为AIOps使能服务作为智能运维AI能力引擎，融合AI的技术优势与华为在电信领域的专业优势，为运维系统的智能化演进提供AIOps平台能力支持，助力到各专业运维系统的应用快速上线，让运维专家专注场景应用设计和业务目标达成。

华为AIOps助力运营商及企业网络打造最佳实践

在KPI异常检测方面，电信网络中，通过KPI来预测和检测网络问题是最普遍的场景。通过AI算法基于 历史 数据自动生成每个KPI的动态门限，避免传统静态门限带来的误报和漏报。

华为NAIE融合了电信领域的运维业务特点，提供单指标/多指标检测，异常原因关联分析，模型的自学习调优等关键能力。目前已经用在核心网，无线，数通等不同业务领域。国内某运营商采用了核心网KPI异常检测服务以后，实现提前5小时识别异常并主动预警，降低了业务损失。

在告警根因定位方面，发现异常或者故障之后的定位是运维流程中的难点，如何准确的将多维度的异常、告警等事件进行汇聚，减少故障噪声，准确定位到具体原因？这些工作目前主要依赖专家经验或者手工分析，而且受限于分析算力和知识信息，效果并不好。

华为NAIE AIOps通过AI算法与业务的融合，支持多类异常/告警等事件的智能故障定位，自动实现时间，拓扑和故障传播图等维度的事件汇聚和根因定位。目前已经应用到无线接入网等业务领域，经过实际验证，无效上站减少60%，根因识别准确率85%+，运维效率整体提升15%。

写在最后，电信领域AIOps落地的关键是需要将行业知识与AI技术融合。网络运维系统的AIOps能力构建的趋势是业务与能力解耦，做到AIOps能力的复用、拉通，支持，适配运维场景应用百花齐放和快速上线迭代的需求。

因此，AIOps使能服务作为智能运维AI能力引擎，融合AI的技术优势与华为在电信领域的专业优势，为运维系统的智能化演进提供AIOps平台能力支持，助力到各专业运维系统的应用快速上线，让运维专家专注场景应用设计和业务目标达成。目前，华为AIOps使能服务已经在无线，核心网，数通等网络域得到了广泛的应用。

如何做好运维监控？

统一监控平台，说到底本质上也是一个监控系统，监控智能运维海量事件的基本能力是必不可少的，回归到监控的本质，先梳理下整个监控体系智能运维海量事件：

① 监控系统的本质是通过发现故障、解决故障、预防故障来为了保障业务的稳定。

② 监控体系一般来说包括数据采集、数据检测、告警管理、故障管理、视图管理和监控管理6大模块。而数据采集、数据检测和告警处理是监控的最小闭环，但如果想要真正把监控系统做好，那故障管理闭环、视图管理、监控管理的模块也缺一不可。

一、数据采集

1、采集方式

数据采集方式一般分为Agent模式和非Agent模式智能运维海量事件；

Agent模式包括插件采集、脚本采集、日志采集、进程采集、APM探针等

非Agent模式包括通用协议采集、Web拨测、API接口等

2、数据类型

监控的数据类型有指标、日志、跟踪数据三种类型。

指标数据是数值型的监控项，主要是通过维度来做标识。

日志数据是字符型的数据，主要是从中找一些关键字信息来做监控。

跟踪型数据反馈的是跟踪链路一个数据流转的过程，观察过程中的耗时性能是否正常。

3、采集频率

采集频率分秒级、分钟级、随机三种类型。常用的采集频率为分钟级。

4、采集传输

采集传输可按传输发起分类，也可按传输链路分类。

按传输发起分类有主动采集Pull（拉）、被动接收Push（推）

按传输链路分类有直连模式、Proxy传输。

其中Proxy传输不仅能解决监控数据跨网传输的问题，还可以缓解监控节点数量过多导致出现的数据传输的瓶颈，用Proxy实现数据分流。

5、数据存储

对于监控系统来说，主要有以下三种存储供选择

① 关系型数据库

例如MySQL、MSSQL、DB2；典型监控系统代表：Zabbix、SCOM、Tivoli；

由于数据库本身的限制，很难搞定海量监控的场景，有性能瓶颈，只在传统监控系统常用

② 时序数据库

为监控这种场景设计的数据库，擅长于指标数据存储和计算；例如InfluxDB、OpenTSDB（基于Hbase）、Prometheus等；典型监控系统代表：TICK监控框架、 Open-falcon、Prometheus

③ 全文检索数据库

这类型数据库主要用于日志型存储，对数据检索非常友好，例如Elasticsearch。

二、数据检测

1. 数据加工

① 数据清洗

数据清洗比如日志数据的清洗，因为日志数据是非结构化的数据，信息密度较低，因此需要从中提取有用的数据。

② 数据计算

很多原始性能数据不能直接用来判断数据是否产生异常。比如采集的数据是磁盘总量和磁盘使用量，如果要检测磁盘使用率，就需要对现有指标进行一个简单的四则运算，才能得到磁盘使用率。

③ 数据丰富

数据丰富就是给数据打上一些tags标签，比如打上主机、机房的标签，方便进行聚合计算。

④ 指标派生

指标派生指的是通过已有的指标，通过计算得出新的指标。

2. 检测算法

有固定规则和机器学习算法。固定算法是较为常见的算法，静态阈值、同比环比、自定义规则，而机器学习主要有动态基线、毛刺检测、指标预测、多指标关联检测等算法。

无论是固定规则还是机器学习，都会有相应的判断规则，即常见的< =和and/or的组合判断等。

三、告警管理

1. 告警丰富

告警丰富是为了后续告警事件分析做准备，需要辅助信息去判断该怎么处理、分析和通知。

告警丰富一般是通过规则，联动CMDB、知识库、作业历史记录等数据源，实现告警字段、关联信息的丰富；通过人工打Tags也是一种丰富方式，不过实际场景下由于人工成本高导致难以落地。

2. 告警收敛

告警收敛有三种思路：抑制、屏蔽和聚合

① 抑制

即抑制同样的问题，避免重复告警。常见的抑制方案有防抖抑制、依赖抑制、时间抑制、组合条件抑制、高可用抑制等。

② 屏蔽

屏蔽可预知的情况，比如变更维护期、固定的周期任务这些已经知道会发生的事件，心里已经有预期。

③ 聚合

聚合是把类似或相同的告警进行合并，因为可能反馈的是同一个现象。比如业务访问量升高，那承载业务的主机的CPU、内存、磁盘IO、网络IO等各项性能都会飙升，这样把这些性能指标都聚合到一块，更加便于告警的分析处理。

3. 告警通知

① 通知到人

通过一些常规的通知渠道，能够触达到人。

这样在没有人盯屏的时候，可以通过微信、短信、邮件触发到工作人员。

② 通知到系统

一般通过API推送给第三方系统，便于进行后续的事件处理

另外还需要支持自定义渠道扩展（比如企业里有自己的IM系统，可以自行接入）

四、故障管理

告警事件必须要处理有闭环，否则监控是没有意义的。

最常见还是人工处理：值班、工单、故障升级等。

经验积累可以把人工处理的故障积累到知识库里面，用于后续故障处理的参考。

自动处理，通过提取一些特定告警的固化的处理流程，实现特定场景的故障自愈；比如磁盘空间告警时把一些无用日志清掉。

智能分析主要是通过故障的关联分析、定位、预测等AI算法，进一步提升故障定位和处理的效率；

1. 视图管理

视图管理也属于增值性功能，主要是满足人的心理述求，做到心中有底，面向的角色很多（领导、管理员、值班员等）。

大屏：面向领导，提供全局概览

拓扑：面向运维人员，提供告警关联关系和影响面视图

仪表盘：面向运维人员，提供自定义的关注指标的视图

报表：面向运维人员、领导，提供一些统计汇总报表信息，例如周报、日报等

检索：面向运维人员，用于故障分析场景下的各类数据检索

2. 监控管理

监控管理是企业监控落地过程中的最大挑战。前5个模块都是监控系统对外提供的服务功能，而监控管理才是面向监控系统自身的管理和控制，关注真正落地的过程的功能呈现。主要有以下几个方面：

配置：简单、批量、自动

覆盖率：监控水平的衡量指标

指标库：监控指标的规范

移动端：随时随地处理问题

权限：使用控制

审计：管理合规

API：运维数据最大的来源，用于数据消费

自监控：自身稳定的保障

为了实现上述监控六大基础能力模块，智能运维海量事件我们可以按如下架构设计我们的统一监控平台。

主要分三层，接入层，能力层，功能层。

接入层主要考虑各种数据的接入，除了本身Agent和插件的采集接入，还需要支持第三方监控源的数据接入，才能算一个完整的统一监控平台。

能力层主要考虑监控的基础通用能力，包含数据采集模块、数据存储模块、数据加工模块、数据检测模块、AI分析模块。

功能层需要贴近用户使用场景，主要有管理、展示两类功能，在建设的过程中可以不断丰富功能场景。

另外，考虑到数据的关联关系，为未来的数据分析打下基础，监控和CMDB也需要紧密联动，所有的监控对象都应该用CMDB进行管理，另外，还可以配置驱动监控为指导理念，实现监控的自动上下线，告警通知自动识别负责人等场景，简化监控的维护管理。

为了统一监控平台能够在企业更好的落地，我们需要配备对应的管理体系，其中最重要的是指标管理体系。

指标管理体系的核心理念：

监控的指标体系是以CMDB为骨架，以监控指标为经脉，将整个统一监控平台的数据有机整合起来。

贯穿指标的生命周期管理，辅以指标的管理规范，保障监控平台长久有序的运行。

从企业业务应用的视角出发，一般将企业监控的对象分为6层，也可以根据企业自己的情况进行调整：

基础设施层

硬件设备层

操作系统层

组件服务层

应用性能层

业务运营层

什么是AIOps智能运维？

智能运维AIOps平台智能运维海量事件，往往是通过大数据、机器学习和可视化的方式让IT运维工作变得更高效。企业基础设施与运维负责人应该尽早启动AIOps平台部署工作智能运维海量事件，优化当前的性能分析智能运维海量事件，并在未来两年至五年内扩展至IT服务管理和自动化领域。

AIOps平台是将大数据与机器学习功能相结合的软件系统，主要对IT系统不断产生的数据量、类型和速度进行拓展性的采集和分析，以支撑IT运维的主要功能。该平台能够同时使用多个数据源、数据采集方法、数据分析及演示技术。

AIOps可以应用到广泛的IT运维流程及场景中，包括性能分析、异常检测、事件关联分析、IT服务管理和自动化。

核心功能包括智能运维海量事件：

从各种数据源中提取数据

对提取的数据进行实时分析

对存储的数据进行历史分析

提供数据访问接口

存储采集数据

使用机器学习技术

根据分析结果启动操作

AIOps在企业中日益占据主导地位，而一些成熟的组织已正在利用该技术为企业领导者提供决策支撑。

关于智能运维海量事件和运维 大数据的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。 智能运维海量事件的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于运维 大数据、智能运维海量事件的信息别忘了在本站进行查找喔。