睿象云智能告警平台的分派策略
1303
2023-02-12
本文目录一览:
AIOps如何落地智能运维行业问题解决方案,还是以具体案例来说比较容易理解。就拿擎创为北京农村商业银行做智能运维行业问题解决方案的项目来说。
项目背景智能运维行业问题解决方案:
近年来数字化转型的步伐愈发变快智能运维行业问题解决方案,随着北京农村商业银行业务规模的扩增以及业务形式的电子化加速,贯穿业务、市场、系统、应用、数据库、中间件、网络、安全等多方面的数据量迅速叠加堆积。然而,这些对于市场而言极具价值的巨量化数据并不集中,它们分散在银行的各中心服务器或设备之中,这使得银行的数据运维工作量越来越大,尤其是在日志的统一管理、监控、信息挖掘等方面极为明显。因此,北京农村商业银行对于信息技术提升和数据管理加强的需求日益加深。
根据监管部门对银行数据治理的相关指引以及中国银监会《商业银行信息科技风险管理指引》(银监发〔2009〕19号)中针对日志文件完整性、存留周期的相关要求,北京农村商业银行最终选择擎创科技助力其完善智能运维建设,保障其业务的平稳高效运行。
解决方案:
根据北京农村商业银行的需求以及现状,擎创科技通过以下手段为其建设运维大数据平台。
通过现分布式高可用,支持横向扩展,随着业务需要随时扩容平台节点;
通过高效数据采集手段,实现对现有IT环境的实时数据采集,打破各个孤立运维工具中的数据孤岛;
对所有运维数据进行集中高效的存储、查询及可视化展示;
支持结构化、非结构化的数据采集支撑;
内置AI智能日志分析引擎,实现日志异常检测、日志异常定位并辅助故障定位。
平台架构图如下:
创新点:
北京农村商业银行在运维大数据平台项目的建设中,采用流批一体的处理技术、流式窗口聚合方式,实现智能运维行业问题解决方案了实时采集、秒级处理、秒级查询,为运维人员提供高效的数据查询手段,为应用人员实现交易数据与日志的深度结合;
采用智能算法判断、故障根因定位,为运维人员提供便捷数据分析工具。充分挖掘了北京农村商业银行的运维数据价值、提升了运维管理水平、提高了运维效率。
建设成效:
建设日志治理平台和大数据平台,实现日志数据统一集中管理、KPI动态异常检测、日志智能聚类等功能。
日志治理+大数据平台(算法),当前日增日志6TB,设计容量10TB,热数据保存30天、冷数据保存3个月,大数据平台日志存档一年、指标类数据两年;
最高峰每秒处理日志500万条日志,其中最高按单笔业务交易日志行数达3000+行,经采集、数据提取、数据合并、数据丰富等数据处理后延时小于1s。
总结:
随着运维大数据平台的建设完成,北京农村商业银行实现了对各类运维日志数据的统一管理,能够对日志进行集中查询、聚类分析、快速分析、精细化分析等操作,结合监控告警的智能化处理,可以做到事前智能预警、事后快速定位故障并分析,进一步提升了银行数据中心的运维管理水平。
IT运维从传统走向智慧,首先要经历数字化运维阶段,搭建数字运维中台既是实现运维数据有效治理的前提和基础,也是推进运维数智化转型的第一步。针对上述需求,擎创科技自主研发的擎创夏洛克AIOps智慧运营平台(如下图所示)可通过数字运维中台,对运维数据进行统一的采集存储和管理,即便面对高达100TB的日增数据量,也可进行秒级实时分析,为异常检测、根因定位等场景奠定坚实基础。
与传统运维方式相比,智能化运维最突出的优势是“数据大集中”,即基于数字运维中台建设,通过统一监控中心来集中管理和分析所有运维数据,并以业务视角观测运维数据的相关性,最终建立智能化场景来解决实际问题。擎创自主研发的智能运维产品——夏洛克AIOps智慧运营平台,刚好为此量身定制。它能以全局运营视角解读IT运维,在AI算法平台的支撑下实现包括精准告警、异常检测、根因定位和容量分析等场景,助力企业数字化业务高效、稳定和顺畅运行。
目前,夏洛克AIOps已在政府机关组织、银行业、证券保险业和交通运输业等行业场景中应用落地,极大节省了企业客户的人力成本和资金成本,提升了运维的有效性和质量。例如,通过为客户构建智能运维平台,轻松应对日增80TB的数据量,让客户平均故障修复时间(MTTR)缩短150%以上,运维总体拥有成本(TCO)下降80%以上。
人工智能经历了六十多年的浮浮沉沉,随着计算算力的进步,算法的创新和互联网发展下的海量数据积累,人工智能技术未来十年将焕发出新的活力,成为最具有冲击力的 科技 发展趋势之一。
在HUAWEI CONNECT 2020期间,华为基于对电信领域的深刻理解和多年经验沉淀,带来了《AIOps使能服务》的分享,旨在结合电信领域应用场景,使能网络达到自动、自愈、自优和自治的自动驾驶网络,提升整个网络的效率,降低OPEX。
AIOps成为电信网络运维智能化转型趋势
随着“5G 新基建”的加速实施,数字经济发展迎来新的动能。不仅推动投资消费的快速成长,还将驱动各行业的数字化转型升级。随之而来的是网络问题复杂化与业务质量高要求的挑战,运维能力的演进成为电信网络能否持续发挥效能的关键因素。
电信网络运维作业正面临问题发现被动(75% 问题由用户发现),故障根因定位难(90% 时间用于问题定位)的业务挑战。同时,各专业运维支撑系统功能也面临开发周期长,闭环流程自动化程度低的技术瓶颈。因此,运营商期望引入AI实现智能运维,做到主动维护和故障自愈。
在运维支撑系统的演进方向上,AIOps(运用AI及大数据技术解决运维问题)已经成为电信行业运维智能化转型的趋势和共识:构建AIOps平台能力,支撑不同运维场景应用。在未来五年内,电信行业市场的运维系统和平台将加速AI能力的升级,成为电信领域AI应用的核心场景,投资占比达到60%。
因此,AIOps已经成为电信网络运维智能化转型趋势。通过构建电信领域AIOps平台能力,快速实现智能运维升级。
华为AIOps助力网络提升可靠性及使能智能化运维
按照自动驾驶网络的等级定义,运维的智能化目标是要实现全域、全流程的预测性运维,自动监控、定位、自愈。
华为AIOps使能服务作为自动驾驶网络AI引擎NAIE的核心能力,基于AI平台,提供了一系列的电信领域AIOps原子能力以及组合编排能力,使能网络管控析单元、智能运维解决方案等运维系统,最终帮助运营商打破原有的烟囱式建设方式,将各专业运维系统的应用与AI能力解耦,采用分层的服务化架构对接共享数据中心,集中提供AIOps能力,适配运维场景应用百花齐放的需求。
如下是华为AIOps使能服务预组合编排好的服务,可开箱即用:
kpi异常检测服务, 快速智能识别海量kpi/kqi的异常情况,广泛应用在网络性能和质量监控场景;
故障识别与根因定位服务, 根据海量告警结合对应网络拓扑和传播知识,实时识别故障及根因网元及告警,可自动学习知识规律,保证持续优化,可广泛应用在各种网络场景;
日志异常检测服务, 实现日志的自动分类和统计规律发掘,实时监控出系统的异常行为和相关日志,可广泛应用在IT及电信网络场景;
硬盘异常预测, 可智能预测短期内(14天)的硬盘故障,以采取规避预防措施,以免对业务产生影响,广泛支持主流厂商的HDD及SSD型号。
细数华为AIOps使能服务四大核心竞争力
提供丰富的AIOps原子能力: AIOps的原子能力覆盖运维全流程,包括预测、检测,定位、执行。原子能力库支持流量预测,故障预测,KPI异常检测,日志异常检测,CHR异常检测,异常关联分析,事件聚合,根因定位等20+原子能力。
作为电信领域的AIOps使能服务,具备两个核心特点:一是基于华为电信领域的经验,原子能力将AI算法与电信领域行业知识融合,预制了默认的电信领域模型参数,同时支持现网运行态的调优,解决当前通用算法模型在具体行业落地效果差的难题。目前,已经在现网得到了规模验证。
另一个是AIOps原子能力采用标准化模型规范,统一数据输入,参数配置,结果输出等接口。为AIOps单点原子能力到灵活的组合串接提供了基础。
组合编排与DevOps能力: 通过组合编排功能,使用者可选择业务场景所需的AIOps原子能力,通过可视化方式完成流程串接,并进行业务泛化参数配置,包括数据接入方式,模型参数,内置电信领域泛化参数,事件通知方式、可视化Dashboard等配置。上述能力支持可视化编排或接口调用方式实现。此外,基于NAIE平台训练服务,AIOps的原子能力库支持使用者根据实际业务需求开展算法模型的创新与开发,不断扩展AIOps能力。NAIE的生态服务也提供专业的人员培训赋能。
支持电信领域数据对接: 支持KPI、告警、日志、xDR等电信领域主流运维数据。支持Kafka,数据库,文件系统,Restful等电信运维系统的主流数据对接方式。AIOps使能服务提供通用的数据源对接和标准化数据治理组件,通过配置项快速建立与运维系统的数据源连接,通过SDK将不同的数据类型和格式治理成标准化的AIOps原子能力输入集,用于模型训练和推理。
场景组合服务: 围绕运维全流程(发现、分析、处理)提供预制典型场景组合应用,快速接入运维流程。
综上所述,华为AIOps使能服务作为智能运维AI能力引擎,融合AI的技术优势与华为在电信领域的专业优势,为运维系统的智能化演进提供AIOps平台能力支持,助力到各专业运维系统的应用快速上线,让运维专家专注场景应用设计和业务目标达成。
华为AIOps助力运营商及企业网络打造最佳实践
在KPI异常检测方面,电信网络中,通过KPI来预测和检测网络问题是最普遍的场景。通过AI算法基于 历史 数据自动生成每个KPI的动态门限,避免传统静态门限带来的误报和漏报。
华为NAIE融合了电信领域的运维业务特点,提供单指标/多指标检测,异常原因关联分析,模型的自学习调优等关键能力。目前已经用在核心网,无线,数通等不同业务领域。国内某运营商采用了核心网KPI异常检测服务以后,实现提前5小时识别异常并主动预警,降低了业务损失。
在告警根因定位方面,发现异常或者故障之后的定位是运维流程中的难点,如何准确的将多维度的异常、告警等事件进行汇聚,减少故障噪声,准确定位到具体原因?这些工作目前主要依赖专家经验或者手工分析,而且受限于分析算力和知识信息,效果并不好。
华为NAIE AIOps通过AI算法与业务的融合,支持多类异常/告警等事件的智能故障定位,自动实现时间,拓扑和故障传播图等维度的事件汇聚和根因定位。目前已经应用到无线接入网等业务领域,经过实际验证,无效上站减少60%,根因识别准确率85%+,运维效率整体提升15%。
写在最后,电信领域AIOps落地的关键是需要将行业知识与AI技术融合。网络运维系统的AIOps能力构建的趋势是业务与能力解耦,做到AIOps能力的复用、拉通,支持,适配运维场景应用百花齐放和快速上线迭代的需求。
因此,AIOps使能服务作为智能运维AI能力引擎,融合AI的技术优势与华为在电信领域的专业优势,为运维系统的智能化演进提供AIOps平台能力支持,助力到各专业运维系统的应用快速上线,让运维专家专注场景应用设计和业务目标达成。目前,华为AIOps使能服务已经在无线,核心网,数通等网络域得到了广泛的应用。
发表评论
评论列表