告警通知变得轻松便捷——微信告警接口指南
788
2023-01-07
本文目录一览:
作为一种将算法集成到工具里的新型运维方式,AIOps 可以帮助企业最大程度地简化运维工作,把 IT 从耗时又容易出错的流程中解放出来。
有了 AIOps,当 IT 出现故障隐患,运维人员不需要再等待系统发出故障告警,通过内置的机器学习算法以及大数据技术,就能自动发现系统的各类异常,从而实现从异常入手判断故障发生的可能性、严重性和影响,依赖机器对数据的分析结果,判断最佳的应对方案。
由此可以看出,基于 AIOps 的管理方法对监控式运维的底层技术实现了颠覆。传统 IT 运维管理工具更为关注突发事件(即告警)、配置和性能,而 AIOps 则更加关注问题、分析和预测,二者可谓互相补充相得益彰。
对 IT 运维人员而言,当一条告警被确认的时候,不但意味着你第一时间发现了业务故障,更意味着在故障发生的这一刻,业务已经受到了影响。而随着 AIOps 的出现,IT 部门可以通过机器学习和算法技术,事先发现 IT 系统的运行异常,提前进行故障的防范甚至规避措施,确保业务故障不出现或者少出现,这些对于 IT 和业务部门来说意义重大。
人工智能经历了六十多年的浮浮沉沉,随着计算算力的进步,算法的创新和互联网发展下的海量数据积累,人工智能技术未来十年将焕发出新的活力,成为最具有冲击力的 科技 发展趋势之一。
在HUAWEI CONNECT 2020期间,华为基于对电信领域的深刻理解和多年经验沉淀,带来了《AIOps使能服务》的分享,旨在结合电信领域应用场景,使能网络达到自动、自愈、自优和自治的自动驾驶网络,提升整个网络的效率,降低OPEX。
AIOps成为电信网络运维智能化转型趋势
随着“5G 新基建”的加速实施,数字经济发展迎来新的动能。不仅推动投资消费的快速成长,还将驱动各行业的数字化转型升级。随之而来的是网络问题复杂化与业务质量高要求的挑战,运维能力的演进成为电信网络能否持续发挥效能的关键因素。
电信网络运维作业正面临问题发现被动(75% 问题由用户发现),故障根因定位难(90% 时间用于问题定位)的业务挑战。同时,各专业运维支撑系统功能也面临开发周期长,闭环流程自动化程度低的技术瓶颈。因此,运营商期望引入AI实现智能运维,做到主动维护和故障自愈。
在运维支撑系统的演进方向上,AIOps(运用AI及大数据技术解决运维问题)已经成为电信行业运维智能化转型的趋势和共识:构建AIOps平台能力,支撑不同运维场景应用。在未来五年内,电信行业市场的运维系统和平台将加速AI能力的升级,成为电信领域AI应用的核心场景,投资占比达到60%。
因此,AIOps已经成为电信网络运维智能化转型趋势。通过构建电信领域AIOps平台能力,快速实现智能运维升级。
华为AIOps助力网络提升可靠性及使能智能化运维
按照自动驾驶网络的等级定义,运维的智能化目标是要实现全域、全流程的预测性运维,自动监控、定位、自愈。
华为AIOps使能服务作为自动驾驶网络AI引擎NAIE的核心能力,基于AI平台,提供了一系列的电信领域AIOps原子能力以及组合编排能力,使能网络管控析单元、智能运维解决方案等运维系统,最终帮助运营商打破原有的烟囱式建设方式,将各专业运维系统的应用与AI能力解耦,采用分层的服务化架构对接共享数据中心,集中提供AIOps能力,适配运维场景应用百花齐放的需求。
如下是华为AIOps使能服务预组合编排好的服务,可开箱即用:
kpi异常检测服务, 快速智能识别海量kpi/kqi的异常情况,广泛应用在网络性能和质量监控场景;
故障识别与根因定位服务, 根据海量告警结合对应网络拓扑和传播知识,实时识别故障及根因网元及告警,可自动学习知识规律,保证持续优化,可广泛应用在各种网络场景;
日志异常检测服务, 实现日志的自动分类和统计规律发掘,实时监控出系统的异常行为和相关日志,可广泛应用在IT及电信网络场景;
硬盘异常预测, 可智能预测短期内(14天)的硬盘故障,以采取规避预防措施,以免对业务产生影响,广泛支持主流厂商的HDD及SSD型号。
细数华为AIOps使能服务四大核心竞争力
提供丰富的AIOps原子能力: AIOps的原子能力覆盖运维全流程,包括预测、检测,定位、执行。原子能力库支持流量预测,故障预测,KPI异常检测,日志异常检测,CHR异常检测,异常关联分析,事件聚合,根因定位等20+原子能力。
作为电信领域的AIOps使能服务,具备两个核心特点:一是基于华为电信领域的经验,原子能力将AI算法与电信领域行业知识融合,预制了默认的电信领域模型参数,同时支持现网运行态的调优,解决当前通用算法模型在具体行业落地效果差的难题。目前,已经在现网得到了规模验证。
另一个是AIOps原子能力采用标准化模型规范,统一数据输入,参数配置,结果输出等接口。为AIOps单点原子能力到灵活的组合串接提供了基础。
组合编排与DevOps能力: 通过组合编排功能,使用者可选择业务场景所需的AIOps原子能力,通过可视化方式完成流程串接,并进行业务泛化参数配置,包括数据接入方式,模型参数,内置电信领域泛化参数,事件通知方式、可视化Dashboard等配置。上述能力支持可视化编排或接口调用方式实现。此外,基于NAIE平台训练服务,AIOps的原子能力库支持使用者根据实际业务需求开展算法模型的创新与开发,不断扩展AIOps能力。NAIE的生态服务也提供专业的人员培训赋能。
支持电信领域数据对接: 支持KPI、告警、日志、xDR等电信领域主流运维数据。支持Kafka,数据库,文件系统,Restful等电信运维系统的主流数据对接方式。AIOps使能服务提供通用的数据源对接和标准化数据治理组件,通过配置项快速建立与运维系统的数据源连接,通过SDK将不同的数据类型和格式治理成标准化的AIOps原子能力输入集,用于模型训练和推理。
场景组合服务: 围绕运维全流程(发现、分析、处理)提供预制典型场景组合应用,快速接入运维流程。
综上所述,华为AIOps使能服务作为智能运维AI能力引擎,融合AI的技术优势与华为在电信领域的专业优势,为运维系统的智能化演进提供AIOps平台能力支持,助力到各专业运维系统的应用快速上线,让运维专家专注场景应用设计和业务目标达成。
华为AIOps助力运营商及企业网络打造最佳实践
在KPI异常检测方面,电信网络中,通过KPI来预测和检测网络问题是最普遍的场景。通过AI算法基于 历史 数据自动生成每个KPI的动态门限,避免传统静态门限带来的误报和漏报。
华为NAIE融合了电信领域的运维业务特点,提供单指标/多指标检测,异常原因关联分析,模型的自学习调优等关键能力。目前已经用在核心网,无线,数通等不同业务领域。国内某运营商采用了核心网KPI异常检测服务以后,实现提前5小时识别异常并主动预警,降低了业务损失。
在告警根因定位方面,发现异常或者故障之后的定位是运维流程中的难点,如何准确的将多维度的异常、告警等事件进行汇聚,减少故障噪声,准确定位到具体原因?这些工作目前主要依赖专家经验或者手工分析,而且受限于分析算力和知识信息,效果并不好。
华为NAIE AIOps通过AI算法与业务的融合,支持多类异常/告警等事件的智能故障定位,自动实现时间,拓扑和故障传播图等维度的事件汇聚和根因定位。目前已经应用到无线接入网等业务领域,经过实际验证,无效上站减少60%,根因识别准确率85%+,运维效率整体提升15%。
写在最后,电信领域AIOps落地的关键是需要将行业知识与AI技术融合。网络运维系统的AIOps能力构建的趋势是业务与能力解耦,做到AIOps能力的复用、拉通,支持,适配运维场景应用百花齐放和快速上线迭代的需求。
因此,AIOps使能服务作为智能运维AI能力引擎,融合AI的技术优势与华为在电信领域的专业优势,为运维系统的智能化演进提供AIOps平台能力支持,助力到各专业运维系统的应用快速上线,让运维专家专注场景应用设计和业务目标达成。目前,华为AIOps使能服务已经在无线,核心网,数通等网络域得到了广泛的应用。
AIOps如何落地数据库的aiops,还是以具体案例来说比较容易理解。就拿擎创为北京农村商业银行做数据库的aiops的项目来说。
项目背景:
近年来数字化转型数据库的aiops的步伐愈发变快,随着北京农村商业银行业务规模的扩增以及业务形式的电子化加速,贯穿业务、市场、系统、应用、数据库、中间件、网络、安全等多方面的数据量迅速叠加堆积。然而,这些对于市场而言极具价值的巨量化数据并不集中,它们分散在银行的各中心服务器或设备之中,这使得银行的数据运维工作量越来越大,尤其是在日志的统一管理、监控、信息挖掘等方面极为明显。因此,北京农村商业银行对于信息技术提升和数据管理加强的需求日益加深。
根据监管部门对银行数据治理的相关指引以及中国银监会《商业银行信息科技风险管理指引》(银监发〔2009〕19号)中针对日志文件完整性、存留周期的相关要求,北京农村商业银行最终选择擎创科技助力其完善智能运维建设,保障其业务的平稳高效运行。
解决方案:
根据北京农村商业银行的需求以及现状,擎创科技通过以下手段为其建设运维大数据平台。
通过现分布式高可用,支持横向扩展,随着业务需要随时扩容平台节点;
通过高效数据采集手段,实现对现有IT环境的实时数据采集,打破各个孤立运维工具中的数据孤岛;
对所有运维数据进行集中高效的存储、查询及可视化展示;
支持结构化、非结构化的数据采集支撑;
内置AI智能日志分析引擎,实现日志异常检测、日志异常定位并辅助故障定位。
平台架构图如下:
创新点:
北京农村商业银行在运维大数据平台项目的建设中,采用流批一体的处理技术、流式窗口聚合方式,实现了实时采集、秒级处理、秒级查询,为运维人员提供高效的数据查询手段,为应用人员实现交易数据与日志的深度结合;
采用智能算法判断、故障根因定位,为运维人员提供便捷数据分析工具。充分挖掘了北京农村商业银行的运维数据价值、提升了运维管理水平、提高了运维效率。
建设成效:
建设日志治理平台和大数据平台,实现日志数据统一集中管理、KPI动态异常检测、日志智能聚类等功能。
日志治理+大数据平台(算法),当前日增日志6TB,设计容量10TB,热数据保存30天、冷数据保存3个月,大数据平台日志存档一年、指标类数据两年;
最高峰每秒处理日志500万条日志,其中最高按单笔业务交易日志行数达3000+行,经采集、数据提取、数据合并、数据丰富等数据处理后延时小于1s。
总结:
随着运维大数据平台的建设完成,北京农村商业银行实现了对各类运维日志数据的统一管理,能够对日志进行集中查询、聚类分析、快速分析、精细化分析等操作,结合监控告警的智能化处理,可以做到事前智能预警、事后快速定位故障并分析,进一步提升了银行数据中心的运维管理水平。
数字化战略规划
企业在进行数字化转型时,要把战略规划放在转型路径上的首要位置。企业高层管理人员应该明白,数字化转型是一种对企业业务、技术和管理等各方面进行重塑的系统级工程,需要借助数字化技术和业务信息系统、商业智能BI等进行改造升级,没有战略规划来严格实施,是完不成转型任务的。
此外,企业领导人还要为数字化转型组建一支能够全权负责数字化转型战略规划的团队,这个团队应该有足够权限、有数字化技术人员、商业智能BI数据分析人员和数字化转型专家。通过这个团队,企业可以建立自上而下推进数字化转型的脚步,将数据加入KPI考核指标,建立奖惩制度。
数字化业务发展
企业需要进行信息化建设,把各部门业务整合到业务信息系统,借助线上统一集成的大平台,将线下的业务流程进行规范化、流程化、标准化。用户、业务和管理人员只需在远程就可以完成业务的办理、提交、审核、批准等操作,简化了操作流程,并通过系统将业务产生的数据沉淀到数据库,为数字化转型打好了数据基础。
完成信息化基础建设后,企业可以部署商业智能BI,将各部门数据库中的数据以ETL和数据模型进行处理,统一储存到数据仓库,由分析人员以图形化手段,将数据进行数据分析,制作数据可视化报表,追踪业务执行效果,进行复盘预测,为管理人员提供信息支撑,辅助进行决策。
数字化研发生产
企业利用商业智能BI数据分析,可以通过用户画像和市场数据确认用户和市场对企业提出的产品需求。以用户为中心,从产品规划开始,每一步都借助商业智能BI数据分析,及时进行功能和模块的调研,充分保证产品在市场上的竞争力,在量产后得到用户的喜爱。
同时,数字化研发生产也代表着自动化的应用,企业通过业务信息系统、商业智能BI以及其他信息化、数字化技术,将研发生产的数据接口、机械臂端口进行自动化处理,不仅提高了准确性,还减少了人力的浪费,让研发生产工厂能够运行更长时间,保质保量完成任务。
数字化经营管理
在传统企业经营管理模式中,企业员工被划分了严格的级别层次,员工管理、晋升等更多是依靠管理人员对于员工的认识,很容易出现拉帮结派的现象,导致管理出现问题,人才被迫流失。通过商业智能BI,企业高层管理人员建立不同业务指标,设立完善的考核任务,在数据可视化报表上,实时查看员工的业绩数据,业务指标完成情况,成长潜力分析等,更好的进行人员管理。
此外,通过商业智能BI等数字化应用,企业高层管理人员可以在企业内外部建立不同的数字化大平台。对内,可以整合业务信息系统,建设自有APP或将经营管理内容集成到其他平台,以数据为基底,在大平台后台进行统一管理,提高效率,增加准确性;对外,企业通过商业智能BI可以建立产业链数字化平台,通过数据可视化展现生产、供应、原料、零配件、物流等相关数据,将产业链中不同企业“连线成网”,统一进行管理。
派可数据 商业智能BI可视化分析平台
发表评论
暂时没有评论,来抢沙发吧~