睿象云智能告警平台的分派策略
758
2023-02-01
本文目录一览:
数字化时代aiops问题解决方案,银行业务的快速发展,计算机的系统数量和部署规模均呈快速增长态势,且加上应用系统的微服务化,系统间的关联更为复杂,也相应提升了对运维系统的要求与难度。虽然银行内建立了较为全面的监控体系,但是面对千百万的告警风暴时,故障定位解决问题十分困难,特别不利于系统安全、持续、稳定运行。
数字化转型中,以用户为中心是驱动金融行业的核心基础。所以,对于像银行、证券公司这样拥有海量运维数据的金融行业来说,智能运维势在必行。采用先进的运维手段(智能运维)则是企业不断前行的源源动力。
说一个aiops问题解决方案我们正在服务的客户案例吧,客户是一家商业银行。
这家商业银行通过擎创科技提供的夏洛克AIOps解决方案,建设了一套智能运维数据分析系统,集中收集和分析十多个系统的运维数据,包括应用系统日志、告警、性能指标、交易指标和网络性能指标等,并通过机器学习算法实现指标异常检测、关联分析和告警收敛,以此加快问题定位效率,保障系统运行。为了有效提高对异常情况的监测和未来趋势预测,提前发现系统隐患,该商业银行通过擎创夏洛克AI实验室,训练并生成了基于业务场景的多类算法,实现系统的单指标异常检测,极大降低系统故障发生的概率。
与此同时,该商业银行还用了擎创夏洛克指标解析中心和告警辨析中心,通过此实现多维指标关联分析,帮助快速发现和定位系统问题,提升排障效率;实现告警收敛,降低告警风暴,加快定位时间。目前告警压缩率达到了80%以上,运维人员的告警处理效率明显提高。实现了IT系统运维的智能化,为业务健康运转提高强力保障。
其实,擎创科技此前便服务过众多银行类客户,如中国银联、交通银行、浦发银行和宁波银行等,帮助其构建了智能化的运维平台,提升了客户运维效率,且目前很多项目都进入到二期、三期建设阶段。
当前,随着企业数字业务的快速发展和业务量的攀升,企业信息系统架构的升级变迁,以及企业多套业务系统的在线运营,各类监控组件和应用系统间的关系错综复杂,系统运维的难度也急剧增加,且面临着巨大挑战。
在传统运维方式下,数据规模大且离散,数据治理和全面分析能力薄弱且依赖于经验和规则,运维十分被动,解决问题效率非常低下,运维的实用性大打折扣,难以满足当前主动运营的要求。
具体来说有以下几点:
发现问题难:企业在经年累月中布局了诸多监控工具,但是监控手段阈值的设定单一,且一般都是静态阈值,而指标和告警的异常却是多样化的,这样就会造成大量的误报漏报现象。此外,目前绝大多数的监控工具,缺乏趋势预测能力,使得运维局面非常被动,导致发现问题十分困难。
根因定位难:发现问题时一般都是对问题进行定性分析,可能了解到某一告警对应的指标波动是值得关注的,但是并不能因此确定造成这种现象具体根因。而且目前的监控工具,大多缺乏综合根因定界及定位分析的手段,即便对监控进行了集中管理,也难以通过单纯的几种指标进行根因定位。
数据治理难:当数字化建设进行到一定程度的时候,被管理对象的数据量相应的也是水涨船高,数据数量大、类别多且非常分散,很难通过某一指标体系来衡量系统的健康度,也没有一个统一的视角去判断数据质量的好坏优劣。
运营分析难:现有的大多数基础监控工具,多数都是从自己的管理阈例如系统管理、网络管理出发看待问题,缺乏端到端的分析能力,没办法以业务视角从综合运营分析的角度,去看待多样化指标对系统的影响。
而智能运维是一种全新的数字化运维能力,也将是数字化转型的必备能力。智能运维相对于传统运维模式而言,能够在运维数据治理、业务数字化风险、运维人力成本和业务侧影响力四个方面有本质的效能提升。
智能运维相对于传统运维模式而言,能够在四个方面有本质的效能提升:
运维数据治理。通过高性能实时处理的数据平台广泛采集、处理和分析数字化业务运行过程中的多样化运维数据,包括告警、指标、日志、配置以及运维工单等类别,不仅提升了运维大数据的治理能力,优化了数据质量,而且为进一步激活运维数据的价值打下了良好基础;
业务数字化风险。使运维人员不仅提升了历史运维数据的分析能力并且能够对实时数据进行异常检测和问题预判,有效降低数字化业务的运行风险,提升可用性、稳定性;
运维人力成本。使真正意义上的跨域根因定位成为可能,降低对专业运维人员经验技能的依赖,迅速缩短故障排查时间并有效降低人力成本;
业务侧影响力。以业务视角利用多元化数据提高运营分析和决策能力,比如端到端的分析业务交易状态,提供给业务、客服部门及时反馈和决策支持依据,充分增强业务影响力;
智能运维发展正如火如荼,Gartner预见其为下一代运维,认为到2022年将有近50%的企业用户部署智能运维。虽然目前不少企业已经在积极投入建设,也还有一些企业处在迷茫阶段,对这种趋势不太清晰,借用著名作家威廉吉布森的话,“未来已来,只是分布不均。”
擎创科技为券商、银行、政府机构等都做过智能运维的成功落地案例。比如最近为某中型银行客户解决日常运维中存在的告警风暴问题。
A行主要运维痛点是告警风暴频发,系统日增告警量达5000多条。在这种情况下运维人员根本无法及时处理告警事件,系统问题更无法及时得到修复,势必会引发用户频繁投诉。A行迫切需要引入智能化的运维方案来解决横亘已久的问题,破除告警风暴难题,提高告警处理能力。
在实地了解到客户的现状和痛点后,我方咨询专家给出的方案是通过实施告警信息丰富、告警智能压缩、告警智能关联、精准推荐告警优先级等功能,帮助运维人员逐步实现少做事、做重要的事、更高效地做事等三级目标。这些核心功能,最终要依赖擎创的智能运维产品——告警辨析中心来实现。
这些功能的实现逻辑如下:
1、告警信息丰富:原始告警信息关联CMDB配置信息,做如下内容丰富;
2、告警智能压缩:利用智能算法将相同或者相似的告警进行合并压缩;
3、告警智能关联:利用智能算法将可能是同一种根因产生的告警关联在一起,方便用户迅速查找问题症结;
4、精准推荐告警优先级:智能算法推荐告警优先级,使告警级别标注更精准。
整个项目历时3个月,投产后压缩掉了82%的无效告警,并大大提高了运维人员的排障效率,客户投诉量也降低了50%。
此外,这个项目也了却了客户心中的难题。A银行使用的监控平台建设于2009年,虽然采用的是某知名国际软件厂商的产品,但是产品的架构、功能和性能已经远远无法满足当前业务需要。客户3年前就表示希望更换监控平台,但由于涉及部门过多,新监控平台建设工作迟迟无法推进。
此次智能运维项目中发现客户的指标数据采样频率和告警频率都是5分钟一次,已经无法反应系统的真实状态,且会遗漏大量有价值的数据和信息。经过项目组向客户多次汇报和反复沟通,终于推动客户下定决心升级监控平台,目前该项目已经进入UAT测试阶段。
“擎创科技将AIOps领域的行业场景做深做透,让客户可以产生真实的收入,这就是客户持续订阅的缘由。”
未来的运维势必是由运维走向运营,擎创科技将会继续提升运维数据的认知能力,打造智能运维产品中最实用的工具,构建实用工具中最智能的产品,帮助企业走上运维智能化道路。
AIOps系统,目前在国内主要应用于大中型企业。有些大的银行证券保险企业,有很强的研发实力,他们会自主研发AIOps系统中的部分功能;也有些会采用开源的工具软件。
国内也有不少AIOps解决方案供应商,采用自主研发的方式,满足信创适配的要求。已在众多企业有落地的实践案例,并不断替代国外同类型产品。
发表评论
暂时没有评论,来抢沙发吧~