日志运维查询周期事件（事件查看器日志）

本篇文章给大家谈谈日志运维查询周期事件，以及事件查看器日志对应的知识点，希望对各位有所帮助，不要忘了收藏本站喔。 今天给各位分享日志运维查询周期事件的知识，其中也会对事件查看器日志进行解释，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在开始吧！

本文目录一览：

• 1、运维日志
• 2、Linux运维知识：从命令行如何查看Linux日志
• 3、ELK 构建 MySQL 慢日志收集平台

运维日志

运维日志

长久以来，日志管理都是IT运维工程师不可回避的工作，它不但可以跟踪IT基础设施活动，更是回答故障是否发生、如何发生、何时发生、在何处发生的最佳答案。

如果把运维看做是医生给病人看病，则日志就是病人对自己的陈述，很多时候医生需要通过对病人的描述中得出病人状况，是否严重，需要什么计量的药，什么类型的药。所以古人有句话叫对症下药，这个症就是病人的描述加医生的判断，在重一点的病在加上很多的化验。在医生看病时病人的描述和化验单上的数据对医生是非常重要的。同理日志在运维中的作用也是类似的，但非常不幸，日志在很多运维中被严重低估，直到磁盘空间不足的时候才想到，这有个大的日志文件把他删了，这样可以节省空间。

下面我们来看一下常用的监控系统，界面做的很漂亮，功能也很多，但是有个疑问就是你会天天盯着这个界面看吗?我感觉绝大多数人不会，很多人关注的是异常点，就是当系统有问题的时候，你告诉我哪里有问题，然后我在根据问题去分析，去处理，当然做处理的时候，这个系统就会用上了。

那上面这些内容和日志有什么关系呢?

日志本身是没有价值的，只有对日志进行分析加以利用的.时候才会有价值，日志中包含非常多的有用的信息，不光包括运维层面，还包括业务层面，安全层面。很多时候运维需要的是一个统一告警平台，但告警的依据绝大多少是对日志等进行自动化的分析得出的结论，所以说日志是很重要的。

什么是日志

简单地说，日志就是计算机系统、设备、软件等在某种情况下记录的信息。具体的内容取决于日志的来源。例如，Unix操作系统会记录用户登录和注销的消息，防火墙将记录ACL通过和拒绝的消息，磁盘存储系统在故障发生或者在某些系统认为将会发生故障的情况下生成日志信息。日志中有大量信息，这些信息告诉你为什么需要生成日志，系统已经发生了什么。例如，Web服务器一般会在有人访问Web页面请求资源(图片、文件等等)的时候记录日志。如果用户访问的页面需要通过认证，日志消息将会包含用户名。这就是日志数据的一个例子：可以使用用户名来判断谁访问过一个资源。通过日志，IT管理人员可以了解系统的运行状况，安全状况，甚至是运营的状况。

日志能做什么

在一个完整的信息系统里面，日志系统是一个非常重要的功能组成部分。它可以记录下系统所产生的所有行为，并按照某种规范表达出来。我们可以使用日志系统所记录的信息为系统进行排错，优化系统的性能，或者根据这些信息调整系统的行为。在安全领域，日志可以反应出很多的安全攻击行为，比如登录错误，异常访问等。日志还能告诉你很多关于网络中所发生事件的信息，包括性能信息、故障检测和入侵检测。日志会成为在事故发生后查明“发生了什么”的一个很好的“取证”信息来源。日志可以为审计进行审计跟踪。

从一条日志说起

111.88.155.166 - - [17/Dec/2015:13:06:05 +0800] "POST /login HTTP/1.1" 302 0 "http://secilog.abc.com/login?langType=zh" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36"

这是一条很普通的nginx中记录的日志，日志的详细内容可查阅相关文档。这里简单说明一下主要的内容。从日志中可以得到访问者的IP，访问的时间，时区，请求的方式，请求页面，返回状态，来源等等信息。仔细一看请求的页面/login就可以猜到只是一个登录请求页面。这条日志的重要含义是登录成功。

从这条日志怎么和我们关注的指标对应的，我们下面接着分析。

活跃用户数，活跃用户说一般是指同一天有多少老用户登录过系统。这个时候就会发现，刚才的登录日志中如果放到一天的统计中就可以知道，一天内有多少次成功等登录的次数了，但细心的用户可以发现，不准确，因为用户可以重复登陆，这就会造成重复，说的很对，那我们在细化一下，我们换个角度分析，一天内登录成功的不重复ip的数量。是不是更接近真实的结果呢，我感觉从量级和趋势上已经能说明问题了。

刷单用户这个没有标准的说法，我的理解是是同一个人为了某种目的大量注册了很多账号后，然后进行某种操作比如刷单等。这种行为很难100%杜绝，但从这条日志中可以得出一些有意思的发现。如果同一个ip一天登录成功次数过多，比如一天登录了一百次，每次间隔的时间都差不多，说明这个人有刷单嫌疑，可以先找出来然后再进一步的分析。

新增用户数的含义是一天内有多少注册成功的用户，这个时候可以类比登录日志，只要把登录日志的url换成注册日志的url就可以发现一天新增的用户数是多少。

同理恶意注册用户数也是类似的，一天同一个ip下注册成功的次数非常多。此ip恶意注册的可能性就很大。当然还需要进一步的分析，比如ip是否是一个大楼里面的出口ip，注册后此用户做了什么来判断。

从上面的分析可以看出举一反三，可从日志中可以看出运营中的很多内容，比如浏览商品的排行，用户访问时间，用户来源等等。

下面我们还从这条日志中分析一下安全的行为：

111.88.155.166 - - [17/Dec/2015:13:06:05 +0800] "POST /login HTTP/1.1" 200 0 "http://secilog.abc.com/login?langType=zh" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36"

这还是一条登录日志，唯一和上面登录日志不一样的地方是服务器返回值。一个是302，一个是200.有什么区别的，302的意思是服务器进行过页面跳转，200还是返回此页面，从中就可以理解，这是一条登录失败的记录。很好，有这条记录就可以发现很多的安全行为。

恶意密码猜测，可以理解同一段时间，用户大量的登录失败，返回了很多登录失败记录。从这条定义中就可以发现规律，我们把时间放大到5分钟，当5分钟内，同一个ip有超过20次以上的登录失败行为，基本上可以断定在进行密码猜测。当密码猜测有自动的也有手动的，如果区分呢。我们看一下这个内容"http://secilog.abc.com/login?langType=zh"，这个含义是post提交的来源是"http://secilog.abc.com/login?langType=zh"这个网页，也就是从这个网页发起的。如果这个地址不对，极有可能是用工具来进行暴力破解。

同理cc攻击就更容易理解了，同一个ip在很短的时间内访问了大量的请求，基本上可以认为是cc攻击。其他的webshell，sql注入等也可以从日志中分析出部分来，但不是太准确，因为日志中指记录get请求的参数，post参数正常是不记录的。

从上面的分析中可以得知，日志中还是有很多宝贵的东西在里面，只是我们没有发现。

;

Linux运维知识：从命令行如何查看Linux日志

1.查看日志常用命令

  (1)tail:  

-n  是显示行号；相当于nl命令；例子如下：

tail -100f test.log      实时监控100行日志

tail  -n  10  test.log   查询日志尾部最后10行的日志;

tail -n +10 test.log    查询10行之后的所有日志;

(2)head:  

跟tail是相反的，tail是看后多少行日志；例子如下：

head -n 10  test.log   查询日志文件中的头10行日志;

head -n -10  test.log   查询日志文件除了最后10行的其他所有日志;

(3)cat： 

tac是倒序查看，是cat单词反写；例子如下：

cat -n test.log |grep "debug"   查询关键字的日志

2. 应用场景一：按行号查看---过滤出关键字附近的日志

(1)cat -n test.log |grep "debug"  得到关键日志的行号

(2)cat -n test.log |tail -n +92|head -n 20  选择关键字所在的中间一行. 然后查看这个关键字前10行和后10行的日志:

tail -n +92表示查询92行之后的日志

head -n 20 则表示在前面的查询结果里再查前20条记录

3. 应用场景二：根据日期查询日志

sed -n '/2014-12-17 16:17:20/,/2014-12-17 16:17:36/p'  test.log

特别说明:上面的两个日期必须是日志中打印出来的日志,否则无效；

先 grep '2014-12-17 16:17:20' test.log 来确定日志中是否有该 时间点

4.应用场景三：日志内容特别多，打印在屏幕上不方便查看

(1)使用more和less命令,

如： cat -n test.log |grep "debug" |more     这样就分页打印了,通过点击空格键翻页

(2)使用 xxx.txt 将其保存到文件中,到时可以拉下这个文件分析

如：cat -n test.log |grep "debug"  debug.txt

ELK 构建 MySQL 慢日志收集平台

本文讲解如何通过一套开源日志存储和检索系统 ELK 构建 MySQL 慢日志收集及分析平台。

ELK、EFK 简介
想必你对 ELK、EFK 都不陌生，它们有一个共同的组件：Elasticsearch（简称ES），它是一个实时的全文搜索和分析引擎，可以提供日志数据的收集、分析、存储 3 大功能。另外一个组件 Kibana 是这套检索系统中的 Web 图形化界面系统，可视化展示在 Elasticsearch 的日志数据和结果。

ELF/EFK 工具集中还有 l 和 F 这两个名称的缩写，这两个缩写代表的工具根据不同的架构和使用方式而定。

L 通常是 Logstash 组件，它是一个用来搜集、分析、过滤日志的工具 。

F 代表 Beats 工具（它是一个轻量级的日志采集器），Beats 家族有 6 个成员，Filebeat 工具，它是一个用于在客户端收集日志的轻量级管理工具。

F 也可以代表工具 fluentd，它是这套架构里面常用的日志收集、处理转发的工具。

那么它们（Logstash VS Beats VS fluentd）有什么样的区别呢？Beats 里面是一个工具集，其中包含了 Filebeat 这样一个针对性的日志收集工具。Logstash 除了做日志的收集以外，还可以提供分析和过滤功能，所以它的功能会更加的强大。

Beats 和 fluentd 有一个共同的特点，就是轻量级，没有 Logstash 功能全面。但如果比较注重日志收集性能，Beats 里面的 Filebeat 和 fluentd 这两个工具会更有优势。

Kafka 是 ELK 和 EFK 里面一个附加的关键组件（缩写 K），它主要是在支持高并发的日志收集系统里面提供分布式的消息队列服务。
ELK 的优势

在此之前，先介绍 ELK 日志分析会有一些什么样的优势？主要有 3 点：

1、它是一套开源、完整的日志检索分析系统，包含收集、存储、分析、检索工具。我们不需要去开发一些额外的组件去完成这套功能，因为它默认的开源方式就提供了一整套组件，只要组合起来，就可以完成从日志收集、检索、存储、到整个展示的完整解决方案了。

2、支持可视化的数据浏览。运维人员只要在控制台里选择想关注的某一段时间内的数据，就可以查看相应的报表，非常快捷和方便。

3、它能广泛的支持一些架构平台，比如我们现在讲到的 K8s 或者是云原生的微服务架构。

Kafka 作为日志消息队列，客户端通过 Filebeat 收集数据（日志）后将其先存入 Kafka，然后由 Logstash 提取并消费，这套架构的好处是：当我们有海量日志同步情况下，直接存入服务端 ES 很难直接应承接海量流量，所以 Kafka 会进行临时性的存取和缓冲，再由 Logstash 进行提取、过滤，通过 Logstash 以后，再把满足条件的日志数据存入 ES。

ES 不再是以单实例的方部署，而是采用集群架构，考虑 Kafka 的集群模式， Logstash 也使用集群模式。

我们会看到这套架构稍微庞大，大中型的企业往往存储海量数据（上百 T 或 P 级）运维日志、或者是系统日志、业务日志。

完成ELK服务搭建后，首先我需要开启的是 MySQL 的慢查询配置，那么通过 set global slow_query_log=‘ON‘，这样就可以开启慢查询日志，还需要设置好慢查询日志标准是大于 1 秒的，那么同样是 set global long_query_time 大于或等于 1，它的意思是大于 1 秒的查询语句，才会认为是慢查询，并且做日志的记录。

那么另外还要设置慢查询日志的位置，通过 set global slow_query_log = 日志文件路径，这里设置到 filebeat 配置监听的路径下，就完成了慢查询日志的路径设置。

配置完成以后，需要在 MySQL 终端上，模拟执行一条执行时间较长的语句，比如执行 select sleep(5)，这样就会模拟执行一条查询语句，并且会让它休眠 5 秒。接下来我们看到服务端窗口的 MySQL 这条 sleep 语句已经执行完毕了，同时我们可以再打开 filebeat 的推送窗口，发现这里产生了一条推送日志，表示成功地把这条日志推送给了 ES。

那么接下来我们就可以通过浏览器打开 Kibana 的管理后台，从界面里来看一看检索日志的记录和一些可视化展示的图表，我们可以点击界面上的 Discover 按钮，同时选择好对应的时间周期，然后可以增加一个 filter 过滤器，过滤器里面敲入对应的关键字来进行索引。

这里我敲入的是 slow.query 这个关键字，就会匹配出对应的可以检索的项目，点击想要查询的对应项目，展示出想检索的某一个时间周期内对应的一些日志记录，以及它的图表是什么样子的，同时在下方会有对应的 MySQL 的日志信息打印出来，通过 Kibana 这样的可视化界面就能够看到的相关信息了。 关于日志运维查询周期事件和事件查看器日志的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。 日志运维查询周期事件的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于事件查看器日志、日志运维查询周期事件的信息别忘了在本站进行查找喔。