如何在智能告警平台CA触发测试告警
840
2023-02-08
本文目录一览:
一、基础数据概况
CMDB中文是配置管理数据库,存储与管理企业IT架构中设备的各种配置信息,与未来的IT运维管理标准化和流程化紧密关联,并且支持流程的运转。运维管理平台创建初期或初版中的CMDB更多是偏向IT资产管理,我们在这里定义的IT资产管理,暂时抛除公司个人使用的普通PC机。
日志主要存储CMDB中涉及到服务器或是其它设备的日志信息。
DB主要是所有IT系统的数据库信息,包括运维管理系统本身的数据库。由于数据库的重要性,所以在基础数据中单独一个模块管理数据库,包括生产数据库、测试数据库、开发数据库。数据库的日志放在日志模块进行统一管理,监控和备份。
知识库主要存储日常运维管理中发生的事件、问题以及一些经典问题的解决和常用的解决方案,主要起到运维管理辅助的功能。
二、基础数据三要素
基础数据要求完整、准确、实时,这三个特性缺一不可。
1.完整性
完整性,要求在数据采集整理阶段,要一一梳理,不能有遗漏。任何一个设备的疏漏都将会导致未来出现问题。例如最近的勒索病毒在防范上需要给服务器升级打补丁,这个时候就是根据服务器清单一一对照,升级。如果有遗漏落下的服务器未及时打补丁而导致病毒入侵,后果将很严重。那么,如何做到完整性呢?大致可以分为以下几步:
首先数据采集阶段多人(推荐三人以上)同时对IT资产进行采集,那么在数据采集完成后,将会有三份或以上的IT资产清单。
接下来就是相互确认阶段。相互check对比两方的清单和自己梳理的清单,找到不一样的地方,大家在一起开会进行讨论。经过这个阶段,会产生一份相对完整且三方(或以上)认可的IT资产清单。
最后就是三方(或以上)一同针对认可的IT资产清单进行最终check,确保最后的清单,是经过多方讨论确认,并最终又check过的IT资产清单。此时这份IT资产清单,相对比较完整。另外在梳理、讨论和check的过程中,针对新增、变更、删除的IT资产一定要及时更新我们的IT资产清单。
2.准确性
准确性要求IT资产清单或是CMDB中存储的数据不能与实际情况有任何差异。要做到基础数据的准确性除了在数据采集阶段要下功夫外,要在运维管理的每一个阶段定期对基础数据进行审计,确保基础数据中的数据无误。一般月度一小审,半年一大审,具体情况根据企业的IT规模而定。
3.实时性
基础数据的实时性可以确保数据的准确性。即基础数据的每一次变动,包括增加、删除、修改,不论大小,只要有变动(在运维流程完结阶段,执行运维操作成功后,就要及时更新基础数据。忽略基础数据的实时性,必将导致准确性大打折扣,在以后的月审、年审中必将导致额外的工作量。一般在审计的过程中,当数据的错误率达到一定程度后,需要重新梳理全部数据,以确保最终的准确和完整。
CMDB
CMDB总的来说分为:产品线、资产管理、供应商管理三个部分。
总的思路是:通过产品线管理IT资产,通过IT资产信息管理硬件或服务提供者,供应商管理。
1.产品线
产品线是指整个公司所有IT系统、产品按照属性进行归类划分。这有一个前提,就是梳理整个公司的IT项目和IT服务。这里项目也可以理解为每一套IT系统,例如OA、CRM、订单系统、支付系统等等。
IT服务主要是指:应用服务(Tomcat、WebLogic、数据库服务等),基础IT服务如Nginx、Varnish、Redis等。通过项目和服务两个维度来管理IT资产,尤其是虚拟机。因为一般系统和服务都是部署在虚拟机上,虚拟机的宿主机则是一台台物理主机。
产品线的划分一般除了根据业务分类划分几个大的产品线外,还需要划分一些基础产品线,如:信息安全产品线,主要管理信息安全、网络安全等系统和设备等;基础服务产品线,如Nginx反向代理大部分系统,Varnish缓存Web静态资源等。
在这里单独说一下产品线和项目包括的服务必须制定运维优先级等级。运维等级的制定不能简单定义为多少级,而应该是为每一套系统进行运维优先级打分,分值不能一样。这样保证在大面积故障的时候,可以根据优先级解决问题。
2.资产管理
资产管理主要有以下几个方面。
首先是比较大的机房管理。有的企业可能会有多个机房,每个机房的基础信息,如带宽、位置、值班电话等都需要加以整理存储用来管理机房信息。机房中的机架、机柜、交换机、路由器等硬件信息,机房的空调、UPS电源、环境监测系统等都属于机房管理的范畴。
安全设备管理。安全设备管理这里主要包含防火墙、IPS、WAF、VPN等网络设施。企业信息安全非常重要,在运维管理中也把安全作为一个单独的模块进行管理。通过购买安全硬件设备和安全服务,不断学习和研究,从而保护好企业数据信息。
服务器管理。这里假定企业实现了虚拟化,大部分系统和服务都部署在虚拟机,而虚拟机是部署在物理机上。服务器管理分物理机和虚拟机分开管理,同时又密切关联。虚拟机在哪一台或几台物理机需记录清楚。
根据产品线中定义的运维优先度等级,在资产管理中的每一个节点标注上相应的等级分值,以便出现大规模故障,有选择、有重点、有顺序地逐一解决问题。
3.供应商管理
供应商管理主要是管理由第三方企业提供的IT系统或设备的服务信息。记录供应商的具体信息、值班电话、硬件备件库等信息。
以上几个模块单独管理,但是又密切相连。如产品线包含哪些项目,包含哪些服务,这些项目和服务部署在哪些虚拟机上,虚拟机又在哪一些物理机上,物理机分布在哪些机房和在机房中的具体位置,物理机在机房中的网络位置和网络架构如何,经过哪些安全设备等等。
反过来需要知道某一些机房有哪一些物理机,物理机位置,安全设备,以及安全设备与物理机的网络架构等,物理机上又有哪些虚拟机上部署了哪一些项目和服务等。系统和服务属于哪些供应商提供,供应商又提供了哪些系统、设备或服务器等。都要多维度进行管理。要求做到某一环节的故障,一查就知道所有受影响的系统和服务。CMDB中的信息相互交织,多维度查询和管理,构建出一张完整的总体架构图,通过总体架构图除了展现出各个部分的基础信息外,还描述了所有的依赖关系,做到坏一点而知全面。
日志
通过日志可以比较准确全面地知道系统或是设备的运行情况,可以返查问题产生的原因,还原问题发生的整个过程。通过日志也可以提前预测系统可能要发生的问题或是故障,如系统安全日志,如果网络攻击会在系统安全日志中有一定的体现。
1.系统日志
系统日志主要指的是操作系统的日志,主要在/var/log下的各种日志信息。包含系统操作日志、系统安全日志、定时任务日志等。系统日志是运维管理安全模块中审计的重要依据。一般默认的操作系统日志不能满足要求,需要对系统的参数进行修改,如为history命令加上时间戳、IP,并且长久保留历史等功能。并且对日志文件进行处理,不允许用户进行清空命令,只能append。
2.应用日志
应用日志主要记录应用服务的健康运行情况以及业务操作的具体日志两部分。应用监控运行情况反应应用服务的健康状态,如果应用占用CPU或是内存过高或是忽高忽低不定,都可以通过分析应用日志结合业务操作日志得出结论。业务操作日志可以为业务审计提供主要依据。有一些系统喜欢把业务操作日志写到数据库中,这个也是需要注意的。不过不管在哪个地方,要求是不可缺少的,它为以后业务审计和问题返查提供依据。
3.数据库日志
数据库日志主要反馈数据库的运行情况。通过监控和管理数据库的日志,及时了解数据库的运行情况,遇到问题及时解决等。可以通过数据库日志结合数据库系统自带的数据库如Oracle的系统视图v$开头,MySQL的performance_schema等。虽然数据库的一些信息不是存在日志中而是在数据库里面,但是也可以作为数据库日志的一部分进行管理和监控,已便我们及时知道数据库的监控状况,从而预防可能出现的问题。
4.设备日志
设备日志一般是一个比较容易忽略的地方,但设备日志往往可以反映设备的运行情况。交换机故障,防火墙故障等设备故障都可能引起大面积的系统和服务故障。所以设备日志一定要收集,分析和监控预警。常用的设备日志有交换机日志、防火墙日志、网络安全设备日志等。
在CMDB中梳理的IT基础设施的基础上,对日志进行分类收集、管理、分析和监控,配着监控管理模块的系统,就已经可以达到多方位监控IT系统,保障IT系统的安全稳定。
DB
由于数据和数据库的重要性,在基础数据中,数据库作为单独的模块存在,根据环境划分为:生产数据库、测试数据库、开发数据库。严格区分三种环境的数据库,避免测试数据到生产环境,生产数据到测试环境等。另外数据库中数据也为业务监控提供数据依据。通过查询数据库中的数据,依据业务逻辑进行判断是否有错误或是遗漏的数据。
知识库
知识库在整个运维管理中是一个辅助功能,主要为运维提供事件管理、问题管理。很多朋友可能会疑惑为什么把事件库和问题库放在知识库这里,这些不是应该在CMDB中吗?这里稍微解释一下,其实本人也并不太清楚这种办法是否可行。在CMDB模块中更多是偏向IT资产管理,为以后的运维操作提供运维范围和运维目标。而事件(主要指运维过程中遇到的所有的运维事件)和问题(需要进行变更发布才能解决的事件升级)更多是在IT资产之上,是解决IT资产的过程中遇到的事件和问题。如果把CMDB作为IT运维的基础管理对象和范围目标的话,事件和问题应该单独出来。也许在后面的运维管理中,逐渐强化CMDB的功能,会把事件库和问题库回归到CMDB模块中。
知识库中还包含经典案例库,主要是解决一些常遇故障、经典问题的解决方法的整理和归档。
解决方案库只要是一些常用的或是探索中的解决方案,例如:Nginx+Tomcat+Redis部署方案,FastDFS分布式文件服务器方案等。
文档库主要用来存储运维管理过程中执行的运维标准和规范以及运维的流程规范,常用的一些规范举例:
文档库也包括一些企业或是部门的规章制度,与供应商的合同条文等。主要是涉及到IT系统文档的一个存放和查阅的地方。
运维标准和运维流程的文档一定是必不可少的。因为运维自动化的前提就是运维的标准化和流程化。如果没有明确的标准和规范的流程,运维自动化就只能一直停留在测试环境的假想空间中。
总结
基础数据在整个运维管理中起到基础、奠基的重要作用,也是做运维管理平台的第一步和以后每一步的重要依据。一定要舍得投入时间、人力等来建立起完整、准确、实时的基础数据。打好地基,以后运维的每一步都将有条不紊地循序渐进,终将建设成属于运维的高楼大厦。
大学数据中心机房运维风险的识别和应对论文
无论是身处学校还是步入社会运维事件预防,许多人都写过论文吧,论文是探讨问题进行学术研究的一种手段。还是对论文一筹莫展吗?下面是我整理的大学数据中心机房运维风险的识别和应对论文,欢迎阅读,希望大家能够喜欢。
摘要:
高校数据中心机房作为学校重要的场所,为学校日常教学办公提供重要的网络保障。如何保障数据中心的安全,已经变得越来越重要。本文通过研究风险管理在高校数据中心机房的应用研究。以我校数据中心机房运维项目为例,进行风险管理各方面的研究。旨在提高机房管理人员管理能力,保障数据中心机房安全。
关键词:
风险识别运维事件预防;风险应对;数据中心机房;
引言:
数据中心机房是学校数据汇聚交互的核心场所,所有接入校园网的数据都是通过数据中心机房进行交互。信息化大背景下,高校数据中心机房为师生提供更加便捷的服务,在教学、科研、办公等方面都有体现。
近些年来,随着数字校园,智慧校园的推进,全国各高校的数据中心机房规模不断发展。“一表通系统”上线,“最多跑一次”改革,高校越来越多的业务都转到校园网上,办公流程的简化,业务流程的电子化,极大地方便了广大师生。但同时,伴随着不断增长的业务,扩增的机房设备,我们对数据中心的要求不断提升,日常的运维管理面临的风险也越来越大。
1、高校数据中心运维引入风险管理的意义
数据中心机房是全校网络的核心区域,包括服务器,IPS设备,业务系统等,是一系列硬件软件设备的总和。一般高中小学校不会涉及数据中心机房,而大学的数据中心机房则不同,需要专人管理。数据中心机房的日常维护绝不是简单的设备维修,而是一项长期且细致的工作,涉及的内容很多,包括机房设备维修,系统升级,安防检查等。因此我们需要引入一整套科学合理的管理方法来应对风险。
数据中心机房的风险管理涉及内容很多有:风险识别,风险分析,风险应对等。其中,风险识别就是识别出潜在的风险,例如:机房火灾,漏水,停电等,是风险管理中最重要的内容之一,是确定潜在风险并分析找出应对方法的前提。所以一般对于风险识别的内容,我们会花费大量的时间来收集汇总,识别中会用到的德尔菲法,头脑风暴等方法。在数据中心日常运维中,针对识别出的高风险因素,我们需要制定相关的策略,包括消极和积极2方面的风险应对策略。风险存在是必然,我们需要积极引入风险管理机制,才能在出现问题时候迅速解决。
2、数据中心机房运维的风险识别
每个项目特性是千差万别,项目独特性决定项目实施过程存在很多不确定性,尽可能识别出不确定因素,是确保项目成功的重要因素[1]。风险识别不仅是风险管理的核心部分,更是基础内容。风险识别就是运用各种科学方法,识别项目的潜在风险,识别引发潜在风险的原因以及可能引发的`后果。特点:风险识别覆盖整个项目的生命周期。项目管理过程中,需要对风险进行反复地识别。风险识别的方法很多,包括德尔菲法,头脑风暴,专家判断等。
为了尽可能全面地识别出潜在的风险,结合实际情况,对数据中心机房风险识别步骤包括3步,第一步,进行工作分解结构WBS,目的就是为了更直观地进行风险识别。第二步,风险收集,针对运维项目,需要组织人员进行现场勘查,发现存在的问题,收集数据中心的资料。针对运维现状,组织全体人员进行头脑风暴法识别潜在的风险,再利用专家调查法对收集的潜在风险进行识别。第三步,风险确认,组织相关人员进行总结分析归纳,最终得到运维项目风险登记册。
(1)工作分解结构WBS
数据中心运维项目按照一定原则进行工作分解,其目的是为了给风险识别提供依据。首先,组织运维项目的各部门的负责人员,技术人员等进行现场勘查,摸清机房现状。按照整体机房运维的思路做好地勘工作,地勘需要记录各个领域的工作,并进行工作分解。
(2)风险收集
本次运维项目的风险收集采用头脑风暴会议。在会议之前,需要收集项目相关资料,包括项目技术文件,运维记录,机房资料,合同等。然后提前将地勘记录和收集到的项目资料发给参与会议的人员,确保参会人员能提前充分了解项目内容。会议针对运维项目期间可能存在的风险,进行充分的讨论和汇总。由项目经理担任本次会议支持人,在主持人的推动下,与参会人员就项目的风险集思广益。所有参与人员均有平等发言权,对潜在的风险提出自己的观点。最后将会议的内容进行整理汇总,初步得到机房运维的风险因素。
(3)风险确认
风险确认即将收集汇总的风险因素发给专家小组,由专家小组再次确认,记录整理并完成风险识别。专家小组包括各行业专家、部门负责人等。专家小组通过了解数据中心机房运维项目的基本情况,背景等,对头脑风暴会议收集的风险因素进行多次征询,直至达成一致意见,完成项目风险识别。
最终将运维项目风险分为5类,包括设备风险,业务风险,运维管理风险,自然风险,其他风险。设备风险包含:服务器风险,IPS设备风险,环控设备风险等。业务风险包括:特大网络故障风险,一般业务故障风险,业务质量下降风险等。运维管理风险包括:团队管理风险,沟通交流风险,人员管理风险等。自然风险包括:火灾,水灾,电磁干扰等,其他风险包括:合同风险,需求变化风险,人员技术风险等。
3、数据中心机房运维的风险分析
风险分析从2方面进行,第一个是定性风险分析,定性分析是指采取一定手段,综合评估分析存在的风险概率以及它的影响程度,并对风险按风险程度排序。同时为下一步分析提供依据。本次运维项目研究所用到的分析工具有概率-影响矩阵,风险分类,专家判断法等。定性风险分析过程作用是为了降低项目的不确定性,并重点关注高优先级的风险,有利于后续针对性开展风险应对。
概率-影响矩阵(P-I矩阵)是经常使用的工具,它是针对不同程度的风险,进行分级和排序,便于下一步进行定量分析及应对。在概率-影响矩阵中,一般将横坐标和纵坐标从低到高划分为5个标准,用数值0.1、0.3、0.5、0.7、0.9表示,一共划分为25个方格,方格内数字表示风险值R,公式为R=P*I。R数值越低,概率越小,影响程度越小。R数值越高,概率越高,影响程度越大。概率高,影响程度高的区域,一般在右上角,属于高风险,需要采取重点措施,并采取积极地应对策略。概率低,影响程度低的区域,一般在左下角,属于低风险区域,一般列入待观察风险清单,一般不需要采取积极管理措施,监测即可。
第二个是定量风险分析,它是对定性分析过程中,对项目影响很大,风险等级很高的风险进行更加具体的分析。它是对风险事件的影响程度分析,一般高风险事件分配高数值,低风险分配低数值。定量风险分析的目的是为了确定重大的风险,同时提醒管理人员对高风险,进行密切关注,做好应对准备。
4、数据中心机房运维的风险应对
风险应对过程是在风险分析之后,针对存在的风险,在分析风险概率及其影响程度基础上,制定一系列措施降低风险、提高有利机会。通过科学合理的管理理论和措施,可以有效规避和降低项目风险。风险应对措施必须及时有效,并制定多种应对方式,择优选择。
风险应对方法有很多,针对已总结的风险,结合数据中心项目的具体情况制定相关的应对策略包括:风险规避,风险转移,风险预防,风险减轻。
(1)风险规避:风险规避是为了达到项目目的,改变原来计划,从而规避风险,减少风险带来的影响。如:调试项目范围,利用多种手段达到目的等。在机房检修的时候,必须秉承着不影响机房正常运行的原则。检修UPS蓄电池,进行放电时,不能影响机房正常运行。检修空调时,应该要一个一个进行检查,不能同时关闭所有机房空调,否则会影响机房正常散热,导致服务器出现故障。维护业务服务器时,必须不能影响其他业务的运行。
(2)风险转移:风险转移目的是将风险转嫁给第三方人员,包括风险的影响和责任。在数据中心机房运维中,常见的风险转移就是第三方公司维保。因为数据中心机房的重要性,所以必须保证机房7*24小时都要稳定运行。单单依靠网络中心一个部门是无法保障机房的一年365天的安全,还必须要有其他部门和第三方运维公司的配合。现在高校的数据中心机房都会有第三方公司运维,包括服务器的维保,环境监控的维保,网络安全维保等。转移工具包括合同、履约保证协议、保密协议,保证书等。通过签署合同或协议,能将风险的责任转移给第三方。
(3)风险预防:风险预防就是针对存在的风险,制定应急预案,避免风险的发生。施工或运维过程中一旦出现风险或者发现目标与预期有较大偏差时,即可按照应急方案采取相应措施。机房定期进行应急演练是必要的,针对运维情况制定不同的应急演练内容,如:特大网络故障,一般业务故障,火灾等。有利于提高运维人员对突发安全事件的响应与处置能力,保障学校机房安全、持续和稳定运行。机房内不需要的设备必须及时清理,必须建立定期检查制度,对相关设备进行详细检查[2]。
(4)风险减轻:风险减轻就是减轻风险事件所带来的影响,减低风险发生的概率。它分为两个方面,第一个是已经发生的风险,要采取积极的措施减少风险带来的影响。第二个是还没发生的风险,要采取积极措施减少发生概率。例如:在机房整理线缆时候,必须按照行业规范,进行走线,并按照统一标准添加标签,确保线材整洁。这样能减少后期维护的成本,当出现线路问题时,能在第一时间找到问题线路。此外,在机房配备UPS电源,也是为了保护服务器设备,在断电情况下能继续工作一段时间,减少服务器突然断电引发的一系列问题。
5、结语
数据中心机房承担着高校全部的信息化业务,运维内容包括服务器,IPS设备,业务系统等软硬件设备,涉及多个部门和第三方运维公司。因此,高校数据中心机房运维是一个长期、复杂的项目,需要持续性地管理。
风险管理作为一种科学的管理手段,在数据中心机房的运维中的应用有着重要的意义,通过风险管理研究,识别、分析和应对等,我们可以清晰地了解整个运维项目存在的风险。识别潜在风险,通过科学的风险分析手段,应对不同程度的风险。
参考文献
[1]郑渝莎.浅谈通信机房搬迁项目的风险管理[J].江西建材,2017(13):261+263.
[2]王欣.信息机房运维及其管理的主要策略分析[J].计算机产品与流通,2020(01):131.
;发表评论
暂时没有评论,来抢沙发吧~