实时警报通知:微信告警通知的重要性解析
837
2022-12-28
本文目录一览:
晚上收到服务接口电话告警,第一时间通过prometheus查看服务耗时却正常。这就奇怪了,为了确保告警程序没有问题,不是误报。登录服务器查看告警程序的日志,通过日志发现确实是接口调用频繁超时引起的告警。因为告警程序部署在阿里云,而服务部署在k8s。我们的告警逻辑是通过告警程序调用部署在k8s服务接口,如果接口超时超过一定的次数就告警。因为告警程序和服务部署在不同的机房,于是认为是网络抖动引起的,因为前几天就发送过k8s网络组建出现问题导致服务调用耗时突然变高。后面同事去向运维确定下是否k8s的nginx-ingress-controller是否出现问题,后面运维同事确认是因为k8s nginx-ingress-controller在新的扩容机器出问题了。一开始不太明白为什么nginx-ingress-controller出现问题会引起服务耗时很高,后面自己缕了下调用关系。因为我们还有邮件告警,邮件告警是监听nginx的error日志来告警,邮件内容告警的内容都是status 504,504错误表示nginx调用服务出问题了。那么接下来只需要找到服务方是谁就可以了。而我们的nginx又会调用k8s ingress controller的nginx,nginx-ingress-controller进而调用部署在k8s的服务,整个调用链路是这样的。
前端接口请求-lvs-阿里云nginx-nginx-ingress-controller-service
邮件告警内容是阿里云nginx报出来的,显示status504.
所以下一步需要排查k8s ingress controller和我们的服务本身有无问题。
通过监控指标,我们排查了服务本身正常,那么可以确定是nginx-ingress-controller出了问题,后面排查确实是一个nginx-ingress-controller的node节点出问题导致。
总结
排查问题要有思路,根据关键信息去排查问题事半功倍。比如这次邮件告警提示的status 504,顺着这个思路去排查很快可以定位问题。
学网络,就在IE-LAB
国内高端网络工程师培养基地
现网排错之8个ARP的告警信息如何快速处理?马上来学习吧!
01
ARP_1.3.6.1.4.1.2011.5.25.123.2.1hwEthernetARPSpeedLimitAlarm
1) 告警解释
ARP/4/ARP_SUPP_TRAP:OID [OID] Exceed the speed limit value configured. (Ifnet index=[INTEGER], Configured value=[COUNTER], Sampling value=[COUNTER], Speed-limit type=[OCTET], Source Ip address=[IPADDR], Destination Ip address=[IPADDR], VPN-Instance name=[OCTET]).
ARP报文或ARP Miss消息的发送速率超出限制时,系统会产生此告警。可以通过arp speed-limit source-ip命令设置速率上限,其中系统默认速率上限为500。
2) 报警原因
原因1:
配置对潜在的攻击行为写日志和发送告警时间间隔为N,在第N+1秒时间内上送ARP报文数配置的阈值并且前N秒上送ARP报文平均数配置的阈值。
原因2:
配置对潜在的攻击行为写日志和发送告警时间间隔为N,在第N+1秒时间内上送ARP Miss数配置的阈值并且前N秒上送ARP Miss平均数配置的阈值。
3) 处理步骤
1. 查看告警信息中时间戳抑制类型。
o ARP=2。
o ARP Miss=4。
2. 执行命令display arp anti-attack configuration查看ARP速率限制值。
3. 执行命令arp speed-limit source-ip [ ip-address ] maximum maximum,重新设定ARP时间戳抑制的最大值,该值必须大于第2步查看到的值,否则无法解除告警,但最大不能超过16384。查看告警是否恢复。
4. 请收集告警信息和配置信息,并联系技术支持人员。
5. 结束。
02
ARP_1.3.6.1.4.1.2011.5.25.123.2.4hwEthernetARPThresholdExceedAlarm
1) 告警解释
ARP/4/ARP_THRESHOLDEXCEED_TRAP:OID [OID] The number of ARP entries exceeded the threshold. (entPhysicalIndex=[INTEGER], Slot name=[OCTET], Threshold=[COUNTER], Number of dynamic ARP entries=[COUNTER], Number of static ARP entries=[COUNTER]).
ARP表项数量超过阈值时,设备产生告警。
2) 报警原因
设备上学习到的ARP表项数量超过了设定的阈值。
3) 处理步骤
1. 执行display arp statistics命令查看设备上ARP表项统计信息,根据网络规划和业务部署,确定是静态ARP表项还是动态ARP表项数量较多。
o 动态ARP表项数量较多=2。
o 静态ARP表项数量较多=3。
2. 执行display arp命令确定哪些接口的ARP表项数量较多,对于ARP表项数量较多的接口,执行display arp interface命令查看指定接口下的ARP表项,检查这些ARP表项是否是用户需要的。
o ARP表项是用户需要的=5。
o 如果ARP表项不是用户需要的,在确保业务不受影响的前提下,可以执行reset arp命令手动清除部分ARP表项=4。
3. 执行display current-configuration命令,检查配置的静态ARP表项是否是用户需要的。
o 静态ARP表项是用户需要的=5。
o 静态ARP表项不是用户需要的,在确保业务不受影响的前提下,可以执行undo arp static命令,通过指定参数删除指定的静态ARP表项或者执行reset arp static命令手动清除全部静态ARP表项=4。
4. 执行display arp statistics命令观察设备的ARP表项总数是否还会异常增加。
o ARP表项不会持续增加=6。
o ARP表项还会持续增加=5。
5. 请收集告警信息和配置信息,并联系技术支持人员。
6. 结束。
03
ARP_1.3.6.1.4.1.2011.5.25.123.2.5hwEthernetARPThresholdResumeAlarm
1) 告警解释
ARP/4/ARP_THRESHOLDRESUME_TRAP:OID [OID] The number of ARP entries was restored to the threshold. (entPhysicalIndex=[INTEGER], Slot name=[OCTET], Threshold=[COUNTER], Number of dynamic ARP entries=[COUNTER], Number of static ARP entries=[COUNTER]).
ARP表项的数量由超阈值减少到阈值范围内时,上报清除告警。
2) 报警原因
设备上ARP表项的数量由超阈值减少到阈值范围内。
3) 处理步骤
1. 正常运行信息,无需处理。
04
1) 告警解释
ARP/4/ARP_IPCONFLICT_TRAP:OID [OID] ARP detects IP conflict. (IP address=[IPADDR], Local interface=[OCTET], Local MAC=[OCTET], Local vlan=[INTEGER], Local CE vlan=[INTEGER], Receive interface=[OCTET], Receive MAC=[OCTET], Receive vlan=[INTEGER], Receive CE vlan=[INTEGER], IP conflict type=[OCTET]).
ARP检测到以太网络中存在IP地址冲突。
2) 可能原因
· 原因1:ARP报文中的源IP地址与本设备的接口IP地址相同,但是MAC地址不相同。
· 原因2:ARP报文中的源IP地址和本设备上已经存在的ARP表项的IP地址相同,但是源MAC地址和对应的ARP表项的MAC地址不相同。
· 原因3:ARP报文中的源IP地址为0.0.0.0(probe ARP报文),目的IP地址与本设备的接口IP地址相同,但是MAC地址不相同。
3) 处理步骤
1. 根据告警信息,确定冲突的设备或者用户。
o 如果能确定冲突的设备或者用户,请及时修改相关的IP地址,及时消除冲突配置=2。
o 如果不能确定冲突的设备或者用户,请收集告警信息和配置信息,并联系技术支持人员。
2. 结束。
05
ARP_1.3.6.1.4.1.2011.5.25.123.2.9hwEthernetARPLearnStopAlarm
1) 告警解释
ARP/4/ARP_LEARNSTOP_TRAP:OID [OID] ARP learning stopped because the memory usage reached the threshold. (Slot index=[INTEGER], Threshold=[COUNTER]).
设备单板内存的占用率达到指定的阈值(单板内存重启阈值-1。例如,1G内存单板的内存重启阈值是90%,当单板内存占用率达到89%时,产生该告警;2G内存单板的内存重启阈值是95%,当单板内存占用率达到94%时,产生该告警)时,ARP停止学习。
2) 可能原因
当前设备上指定单板的内存占用率达到重启阈值-1,ARP停止学习。
3) 处理步骤
1. 执行display health命令查看单板内存的占用率情况。
2. 请收集告警信息和配置信息,并联系技术支持人员。
06
ARP_1.3.6.1.4.1.2011.5.25.123.2.10hwEthernetARPLearnResumeAlarm
1) 告警解释
ARP/4/ARP_LEARNRESUME_TRAP:OID [OID] ARP learning recovered because the memory usage fell below the threshold. (Slot index=[INTEGER], Threshold=[COUNTER]).
设备单板内存的占用率恢复到指定的阈值(单板内存重启阈值-1。例如,1G内存单板的内存重启阈值是90%,当单板内存占用率达到89%时,产生该告警;2G内存单板的内存重启阈值是95%,当单板内存占用率达到94%时,产生该告警)以下时,ARP重新开始学习。
2) 可能原因
当前设备上指定单板的内存占用率由达到单板内存重启阈值-1恢复到单板内存重启阈值-1以下时,ARP重新开始学习。
3) 处理步骤
1. 正常运行信息,无需处理。
07
ARP_1.3.6.1.4.1.2011.5.25.123.2.11hwEthernetARPRemoteBackupFailAlarm
1) 告警解释
ARP/4/ARP_NO_ACCORD_TRAP: OID [OID] The remote ARP entry backup fail. (Mainif name=[OCTET]).
ARP表项远端备份失败。
2) 可能原因
备端设备检测到处理ARP远端备份报文失败,比如:备份报文进入队列失败。
3) 处理步骤
1. 执行display message-queue命令查看设备的消息队列的使用情况,检查ARP消息队列是否已满。
o ARP消息队列已满=3。
o ARP消息队列没有满=2。
2. 执行display arp命令查看设备上ARP表项的信息,检查主端和备端设备上的ARP表项是否一致。
o 两端ARP表项一致=4。
o 两端ARP表项不一致,请在确保业务不受影响的前提下,在主端设备上执行batch-backup service-type arp now命令手动再备份一次ARP表项。
3. 请收集告警信息和配置信息,并联系技术支持人员。
4. 结束。
08
ARP_1.3.6.1.4.1.2011.5.25.123.2.12hwEthernetARPRemoteBackupFailResumeAlarm
1) 告警解释
ARP/4/ARP_NO_ACCORD_RESUME_TRAP: OID [OID] The remote ARP entry backup succeed. (Mainif name=[OCTET]).
ARP表项远端备份失败恢复。
2) 可能原因
备端设备检测到周期内备份ARP表项成功。
3) 处理步骤
1. 正常运行消息,无需处理。
*本文版权所有 华为技术有限公司 侵删
【思科CCNA华为HCIA初级混讲班】本课程满足在校及零基础入门想要学习网络的同学,将两大厂商初级认证需要掌握的理论及实验打包一起学习,轻松区分技术应用中的异同……
2022年希望你成为网络工程师行业的又一位技术大牛,不再羡慕别人的薪资和工作,闯出属于自己的一片天地。
为了帮助微信公众平台开发者在自身服务器和接口响应出现问题时,尽快发现问题,微信公众平台推出了接口报警功能。接口报警在登录公众平台后的开发者中心内设置,通过微信来接收报警。
报警规则:
发生下属情形,即超过报警阀值时,将进行报警(若已开通微信支付权限,则在微信支付消息通知时,也根据下述情形报警),报警阀值都是:30次/5分钟,当然你也可以自定义阀值。
纤亿通 建议查看光模块接口告警信息的工作参数、接口信息和收发包是否正常接口告警信息,再检查光纤跳线接口告警信息,也可以尝试更换光纤跳线和光模块,光模块更换之后需要观察告警灯的状态。更多详情
发表评论
暂时没有评论,来抢沙发吧~