开源告警管理(软件源警告)

来源网友投稿 1018 2023-01-20

本站部分文章、图片属于网络上可搜索到的公开信息,均用于学习和交流用途,不能代表睿象云的观点、立场或意见。我们接受网民的监督,如发现任何违法内容或侵犯了您的权益,请第一时间联系小编邮箱jiasou666@gmail.com 处理。
本篇文章给大家谈谈开源告警管理,以及软件源警告对应的知识点,希望对各位有所帮助,不要忘了收藏本站喔。 今天给各位分享开源告警管理的知识,其中也会对软件源警告进行解释,如果能碰巧解决你现在面临的问题,别忘了关注本站,现在开始吧!

本文目录一览:

如何做好运维监控?

统一监控平台开源告警管理,说到底本质上也是一个监控系统,监控开源告警管理的基本能力是必不可少的,回归到监控的本质,先梳理下整个监控体系:

① 监控系统的本质是通过发现故障、解决故障、预防故障来为了保障业务的稳定。

② 监控体系一般来说包括数据采集、数据检测、告警管理、故障管理、视图管理和监控管理6大模块。而数据采集、数据检测和告警处理是监控的最小闭环,但如果想要真正把监控系统做好,那故障管理闭环、视图管理、监控管理的模块也缺一不可。

一、数据采集

1、采集方式

数据采集方式一般分为Agent模式和非Agent模式开源告警管理

Agent模式包括插件采集、脚本采集、日志采集、进程采集、APM探针等

非Agent模式包括通用协议采集、Web拨测、API接口等

2、数据类型


监控的数据类型有指标、日志、跟踪数据三种类型。

指标数据是数值型的监控项,主要是通过维度来做标识。

日志数据是字符型的数据,主要是从中找一些关键字信息来做监控。

跟踪型数据反馈的是跟踪链路一个数据流转的过程,观察过程中的耗时性能是否正常。

3、采集频率

采集频率分秒级、分钟级、随机三种类型。常用的采集频率为分钟级。

4、采集传输

采集传输可按传输发起分类,也可按传输链路分类。

按传输发起分类有主动采集Pull(拉)、被动接收Push(推)

按传输链路分类有直连模式、Proxy传输。

其中Proxy传输不仅能解决监控数据跨网传输的问题,还可以缓解监控节点数量过多导致出现的数据传输的瓶颈,用Proxy实现数据分流。

5、数据存储

对于监控系统来说,主要有以下三种存储供选择

① 关系型数据库

例如MySQL、MSSQL、DB2开源告警管理;典型监控系统代表:Zabbix、SCOM、Tivoli;

由于数据库本身的限制,很难搞定海量监控的场景,有性能瓶颈,只在传统监控系统常用

② 时序数据库

为监控这种场景设计的数据库,擅长于指标数据存储和计算;例如InfluxDB、OpenTSDB(基于Hbase)、Prometheus等;典型监控系统代表:TICK监控框架、 Open-falcon、Prometheus

③ 全文检索数据库

这类型数据库主要用于日志型存储,对数据检索非常友好,例如Elasticsearch。

二、数据检测

1. 数据加工

① 数据清洗

数据清洗比如日志数据的清洗,因为日志数据是非结构化的数据,信息密度较低,因此需要从中提取有用的数据。

② 数据计算

很多原始性能数据不能直接用来判断数据是否产生异常。比如采集的数据是磁盘总量和磁盘使用量,如果要检测磁盘使用率,就需要对现有指标进行一个简单的四则运算,才能得到磁盘使用率。

③ 数据丰富

数据丰富就是给数据打上一些tags标签,比如打上主机、机房的标签,方便进行聚合计算。

④ 指标派生

指标派生指的是通过已有的指标,通过计算得出新的指标。

2. 检测算法

有固定规则和机器学习算法。固定算法是较为常见的算法,静态阈值、同比环比、自定义规则,而机器学习主要有动态基线、毛刺检测、指标预测、多指标关联检测等算法。

无论是固定规则还是机器学习,都会有相应的判断规则,即常见的< =和and/or的组合判断等。

三、告警管理

1. 告警丰富

告警丰富是为了后续告警事件分析做准备,需要辅助信息去判断该怎么处理、分析和通知。

告警丰富一般是通过规则,联动CMDB、知识库、作业历史记录等数据源,实现告警字段、关联信息的丰富;通过人工打Tags也是一种丰富方式,不过实际场景下由于人工成本高导致难以落地。

2. 告警收敛

告警收敛有三种思路:抑制、屏蔽和聚合

① 抑制

即抑制同样的问题,避免重复告警。常见的抑制方案有防抖抑制、依赖抑制、时间抑制、组合条件抑制、高可用抑制等。

② 屏蔽

屏蔽可预知的情况,比如变更维护期、固定的周期任务这些已经知道会发生的事件,心里已经有预期。

③ 聚合

聚合是把类似或相同的告警进行合并,因为可能反馈的是同一个现象。比如业务访问量升高,那承载业务的主机的CPU、内存、磁盘IO、网络IO等各项性能都会飙升,这样把这些性能指标都聚合到一块,更加便于告警的分析处理。

3. 告警通知

① 通知到人

通过一些常规的通知渠道,能够触达到人。

这样在没有人盯屏的时候,可以通过微信、短信、邮件触发到工作人员。

② 通知到系统

一般通过API推送给第三方系统,便于进行后续的事件处理

另外还需要支持自定义渠道扩展(比如企业里有自己的IM系统,可以自行接入)

四、故障管理

告警事件必须要处理有闭环,否则监控是没有意义的。

最常见还是人工处理:值班、工单、故障升级等。

经验积累可以把人工处理的故障积累到知识库里面,用于后续故障处理的参考。

自动处理,通过提取一些特定告警的固化的处理流程,实现特定场景的故障自愈;比如磁盘空间告警时把一些无用日志清掉。

智能分析主要是通过故障的关联分析、定位、预测等AI算法,进一步提升故障定位和处理的效率;

1. 视图管理

视图管理也属于增值性功能,主要是满足人的心理述求,做到心中有底,面向的角色很多(领导、管理员、值班员等)。

大屏:面向领导,提供全局概览

拓扑:面向运维人员,提供告警关联关系和影响面视图

仪表盘:面向运维人员,提供自定义的关注指标的视图

报表:面向运维人员、领导,提供一些统计汇总报表信息,例如周报、日报等

检索:面向运维人员,用于故障分析场景下的各类数据检索

2. 监控管理

监控管理是企业监控落地过程中的最大挑战。前5个模块都是监控系统对外提供的服务功能,而监控管理才是面向监控系统自身的管理和控制,关注真正落地的过程的功能呈现。主要有以下几个方面:

配置:简单、批量、自动

覆盖率:监控水平的衡量指标

指标库:监控指标的规范

移动端:随时随地处理问题

权限:使用控制

审计:管理合规

API:运维数据最大的来源,用于数据消费

自监控:自身稳定的保障

为了实现上述监控六大基础能力模块,开源告警管理我们可以按如下架构设计我们的统一监控平台。

主要分三层,接入层,能力层,功能层。

接入层主要考虑各种数据的接入,除了本身Agent和插件的采集接入,还需要支持第三方监控源的数据接入,才能算一个完整的统一监控平台。

能力层主要考虑监控的基础通用能力,包含数据采集模块、数据存储模块、数据加工模块、数据检测模块、AI分析模块。

功能层需要贴近用户使用场景,主要有管理、展示两类功能,在建设的过程中可以不断丰富功能场景。

另外,考虑到数据的关联关系,为未来的数据分析打下基础,监控和CMDB也需要紧密联动,所有的监控对象都应该用CMDB进行管理,另外,还可以配置驱动监控为指导理念,实现监控的自动上下线,告警通知自动识别负责人等场景,简化监控的维护管理。

为了统一监控平台能够在企业更好的落地,我们需要配备对应的管理体系,其中最重要的是指标管理体系。

指标管理体系的核心理念:

监控的指标体系是以CMDB为骨架,以监控指标为经脉,将整个统一监控平台的数据有机整合起来。

贯穿指标的生命周期管理,辅以指标的管理规范,保障监控平台长久有序的运行。

从企业业务应用的视角出发,一般将企业监控的对象分为6层,也可以根据企业自己的情况进行调整:

基础设施层

硬件设备层

操作系统层

组件服务层

应用性能层

业务运营层

Prometheus的工作原理是什么?

Prometheus 最开始是由 SoundCloud 开发的开源监控告警系统开源告警管理,是 Google BorgMon 监控系统的开源版本。在 2016 年,Prometheus 加入 CNCF,成为继 Kubernetes 之后第二个被 CNCF 托管的项目。随着 Kubernetes 在容器编排领头羊地位的确立,Prometheus 也成为 Kubernetes 容器监控的标配。


监控系统的总体架构大多是类似的,都有数据采集、数据处理存储、告警动作触发和告警,以及对监控数据的展示。下面是 Prometheus 的架构开源告警管理

Prometheus Server 负责定时从 Prometheus 采集端 Pull(拉) 监控数据。Prometheus 采集端可以是实现开源告警管理了 /metrics 接口的服务,可以是从第三方服务导出监控数据的 exporter,也可以是存放短生命周期服务监控数据的 Pushgateway。相比大多数采用 Push(推) 监控数据的方式,Pull 使得 Promethues Server 与被采集端的耦合度更低,Prometheus Server 更容易实现水平拓展。对于采集的监控数据,Prometheus Server 使用内置时序数据库 TSDB 进行存储。同时也会使用这些监控数据进行告警规则的计算,产生的告警将会通过 Prometheus 另一个独立的组件 Alertmanager 进行发送。Alertmanager 提供开源告警管理了十分灵活的告警方式,并且支持高可用部署。对于采集到的监控数据,可以通过 Prometheus 自身提供的 Web UI 进行查询,也可以使用 Grafana 进行展示。

prometheus能监控哪些指标

你好,关于prometheus能监控哪些指标
Prometheus是一个开源项目,最初由SoundCloud的工程师开发。它专门用于监控那些运行在容器中的微服务。每经过一个时间间隔,数据都会从运行的服务中流出,存储到一个时间序列数据库中,这个数据库之后可以通过PromQL语言查询。
另外,因为数据是以时间序列存储的,当出现问题时,可以根据这些时间间隔进行诊断,另外还可以预测基础设施的长期监控趋势----这是Prometheus的两大功能。
希望对你有帮助

华为esight 专业版和标准版有什么区别

专业版 跟标准版的区别在于 可以监测的节点不同 ,支持监测 设备类型不同。
专业版:能监测上万个网络节点,能够监测 网络设备类型 更多,不管什么品牌的网络设备都支持。
东西不错,价格也很美丽,看看就好 ,当然标准版的价格也不贵啦!要不然用linux平台下的监控开源软件把如zabbit! 很多人都选择后者。

日志分析平台哪家好呢?袋鼠云日志分析服务和同行企业相比怎么样?

具体要看企业需求,也可以倒过来先看看开源告警管理他们能为企业做什么,是不是开源告警管理你们想要的。那么袋鼠云日志分析能为企业做什么开源告警管理
1)帮助用户进行海量日志集中采集、管理、分析,
产品可根据客户日志内容及需求快速抽象实际使用场景,以独立应用、仪表盘、告警等方式呈现,帮助企业完成业务监控分析、异常定位等,从而提升企业故障发现率、降低企业运维成本。
2)同时响应国家政策,满足网络安全法律法规(网络日志必须保存6个月以上)。
3)降低企业客户直接使用ELK开源产品的部署和使用成本(很大一部分群体 都接触过ELK,能明白配置、维护的学习成本)。
真实案例:某银行故障处理,需在机房排队等候,然后逐个系统排查、定位,通常需花费一下午或更长时间,通过云日志平台集中对日志进行分析,配置对应可视化监控场景后,故障处理仅需几分钟或更短时间,极大提升故障发现率,及运维效率。
区分对应的用户群体,针对性介绍,有的客户关注日志管理,那就着重介绍我们的可视化配置采集、数据源管理,有的客户关注日志分析、业务监控,就针对性介绍我们的数据解析、监控告警、应用生成过程,云日志并非什么都能做,也不能够什么都去做,找到对应的客户、对应的诉求,这个阶段不求大而全,若是有多个客户提及而确实缺乏的,再带回来考量开源告警管理
袋鼠云云日志较各类型竞品是有差异的:
1)ELK类开源产品:配置、维护成本极高,功能单一,性能无法保障,云日志是一款相对成熟的商业化产品,配置均为可视化界面方式,提供标准数据自动解析,应用场景模版,且上层应用为企业服务过程中针对性的解决方案,如监控告警、权限管理、数据源管理、日志投递、数据脱敏等等,以及性能方面经过金融级客户环境历练可承载TB级别数据量。
2)日志易国内专注型产品:功能层面大同小异(运维行业ITOA方面做过更多探索,实际客户案例下我们会显弱势,数据可视化是日志易一弱点),可着重介绍公司整体能力,数据中台架构能力、数据可视化案例及能力支撑。
3)阿里云等云平台旗下日志产品:该类型产品多为管道性质,在数据采集转发、不同渠道数据源接收的能力上较强,价格低廉,但难以满足整体的日志分析平台需求,上层应用匮乏,云日志是完整的日志分析平台,提供数据集成—清洗、解析—上层应用搭建,完整的解决方案。
4)Splunk之类大外企:功能强大,行业影响力很深,不能硬刚,外企在中国市场灵活度不够,无法针对国内企业实际情况做相应调整,且价格昂贵。

报警软件用的是哪个数据库

Prometheus数据库。报警软件基本原理是通过HTTP协议周期性抓取被监控组件的状态,在数据库中,需要Prometheus数据库才可以建立,是由SoundCloud开发的开源监控报警系统和时序列数据库。 关于开源告警管理和软件源警告的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站。 开源告警管理的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于软件源警告、开源告警管理的信息别忘了在本站进行查找喔。
上一篇:受Cloudflare停运影响的不和谐
下一篇:运放相位裕度的认识与理解
相关文章

 发表评论

暂时没有评论,来抢沙发吧~