Loki日志系统详解

Loki日志系统详解

背景

最近，在对公司容器云的日志方案进行设计的时候，发现主流的ELK或者EFK比较重，再加上现阶段对于ES复杂的搜索功能很多都用不上最终选择了Grafana开源的Loki日志系统，下面介绍下Loki的背景。

背景和动机

我们的监控使用的是基于Prometheus体系进行改造的，Prometheus中比较重要的是Metric和Alert，Metric是来说明当前或者历史达到了某个值，Alert设置Metric达到某个特定的基数触发了告警，但是这些信息明显是不够的。我们都知道，Kubernetes的基本单位是Pod，Pod把日志输出到stdout和stderr，平时有什么问题我们通常在界面或者通过命令查看相关的日志，举个例子：当我们的某个Pod的内存变得很大，触发了我们的Alert，这个时候管理员，去页面查询确认是哪个Pod有问题，然后要确认Pod内存变大的原因，我们还需要去查询Pod的日志，如果没有日志系统，那么我们就需要到页面或者使用命令进行查询了：

如果，这个时候应用突然挂了，这个时候我们就无法查到相关的日志了，所以需要引入日志系统，统一收集日志，而使用ELK的话，就需要在Kibana和Grafana之间切换，影响用户体验。所以 ，loki的第一目的就是最小化度量和日志的切换成本，有助于减少异常事件的响应时间和提高用户的体验。

ELK存在的问题

现有的很多日志采集的方案都是采用全文检索对日志进行索引（如ELK方案），优点是功能丰富，允许复杂的操作。但是，这些方案往往规模复杂，资源占用高，操作苦难。很多功能往往用不上，大多数查询只关注一定时间范围和一些简单的参数（如host、service等），使用这些解决方案就有点杀鸡用牛刀的感觉了。

因此，Loki的第二个目的是，在查询语言的易操作性和复杂性之间可以达到一个权衡。

成本

全文检索的方案也带来成本问题，简单的说就是全文搜索（如ES）的倒排索引的切分和共享的成本较高。后来出现了其他不同的设计方案如：OKlog，采用最终一致的、基于网格的分布策略。这两个设计决策提供了大量的成本降低和非常简单的操作，但是查询不够方便。因此，Loki的第三个目的是，提高一个更具成本效益的解决方案。

架构

整体架构

不难看出，Loki的架构非常简单，使用了和Prometheus一样的标签来作为索引，也就是说，你通过这些标签既可以查询日志的内容也可以查询到监控的数据，不但减少了两种查询之间的切换成本，也极大地降低了日志索引的存储。Loki将使用与Prometheus相同的服务发现和标签重新标记库，编写了pormtail，在Kubernetes中promtail以DaemonSet方式运行在每个节点中，通过Kubernetes API等到日志的正确元数据，并将它们发送到Loki。下面是日志的存储架构：

读写

Distributor

一旦promtail收集日志并将其发送给loki，Distributor就是第一个接收日志的组件。由于日志的写入量可能很大，所以不能在它们传入时将它们写入数据库。这会毁掉数据库。我们需要批处理和压缩数据。Loki通过构建压缩数据块来实现这一点，方法是在日志进入时对其进行gzip操作，组件ingester是一个有状态的组件，负责构建和刷新chunck，当chunk达到一定的数量或者时间后，刷新到存储中去。每个流的日志对应一个ingester，当日志到达Distributor后，根据元数据和hash算法计算出应该到哪个ingester上面。

此外，为了冗余和弹性，我们将其复制n（默认情况下为3）次。

Ingester

基本上就是将日志进行压缩并附加到chunk上面。一旦chunk“填满”（数据达到一定数量或者过了一定期限），ingester将其刷新到数据库。我们对块和索引使用单独的数据库，因为它们存储的数据类型不同。

刷新一个chunk之后，ingester然后创建一个新的空chunk并将新条目添加到该chunk中。

Querier

读取就非常简单了，由Querier负责给定一个时间范围和标签选择器，Querier查看索引以确定哪些块匹配，并通过greps将结果显示出来。它还从Ingester获取尚未刷新的最新数据。对于每个查询，一个查询器将为您显示所有相关日志。实现了查询并行化，提供分布式grep，使即使是大型查询也是足够的。

可扩展性

Loki的索引存储可以是cassandra/bigtable/dynamodb，而chuncks可以是各种对象存储，Querier和Distributor都是无状态的组件。对于ingester他虽然是有状态的但是，当新的节点加入或者减少，整节点间的chunk会重新分配，已适应新的散列环。而Loki底层存储的实现Cortex已经 在实际的生产中投入使用多年了。有了这句话，我可以放心的在环境中实验一把了。

部署

Loki的安装非常简单。

创建namespace

oc new-project loki

oc new-project loki

权限设置

oc adm policy add-scc-to-user anyuid -z default -n lokioc adm policy add-cluster-role-to-user cluster-admin system:serviceaccount:loki:default

oc adm policy add-scc-to-user anyuid -z default -n lokioc adm policy add-cluster-role-to-user cluster-admin system:serviceaccount:loki:default

安装Loki

安装命令：

oc create -f statefulset.json -n loki

oc create -f statefulset.json -n loki

statefulset.json如下：

安装Promtail

安装命令：

oc create -f configmap.json -n loki

oc create -f configmap.json -n loki

configmap.json如下：

daemonset.json如下：

安装服务

oc create -f service.json -n loki

oc create -f service.json -n loki

service.json的内容如下：

{    "apiVersion": "v1",    "kind": "Service",    "metadata": {        "creationTimestamp": "2019-09-04T09:37:49Z",        "name": "loki",        "namespace": "loki",        "resourceVersion": "17800188",        "selfLink": "/api/v1/namespaces/loki/services/loki",        "uid": "a87fe237-cef7-11e9-b58e-e4a8b6cc47d2"    },    "spec": {        "externalTrafficPolicy": "Cluster",        "ports": [            {                "name": "lokiport",                "port": 3100,                "protocol": "TCP",                "targetPort": 3100            }        ],        "selector": {            "app": "loki"        },        "sessionAffinity": "None",        "type": "NodePort"    },    "status": {        "loadBalancer": {}    }

{ "apiVersion": "v1", "kind": "Service", "metadata": { "creationTimestamp": "2019-09-04T09:37:49Z", "name": "loki", "namespace": "loki", "resourceVersion": "17800188", "selfLink": "/api/v1/namespaces/loki/services/loki", "uid": "a87fe237-cef7-11e9-b58e-e4a8b6cc47d2" }, "spec": { "externalTrafficPolicy": "Cluster", "ports": [ { "name": "lokiport", "port": 3100, "protocol": "TCP", "targetPort": 3100 } ], "selector": { "app": "loki" }, "sessionAffinity": "None", "type": "NodePort" }, "status": { "loadBalancer": {} }

语法

第二步，获取某个元数据类型的值：

第三步，根据label进行查询，例如：

参数解析：

query：一种查询语法详细见下面章节，{name=~“mysql.+”} or {namespace=“cicd”} |= "error"表示查询，namespace为CI/CD的日志中，有error字样的信息。limit：返回日志的数量start：开始时间，Unix时间表示方法 默认为，一小时前时间end：结束时间，默认为当前时间direction：forward或者backward，指定limit时候有用，默认为 backwardregexp：对结果进行regex过滤

LogQL语法

选择器对于查询表达式的标签部分，将放在{}中，多个标签表达式用逗号分隔：

{app="mysql",name="mysql-backup"}

{app="mysql",name="mysql-backup"}

支持的符号有:

=：完全相同。!=：不平等。=~：正则表达式匹配。!~：不要正则表达式匹配。

过滤表达式编写日志流选择器后，您可以通过编写搜索表达式进一步过滤结果。搜索表达式可以文本或正则表达式。如

{job=“mysql”} |= “error”{name=“kafka”} |~ “tsdb-ops.*io:2003”{instance=~“kafka-[23]”,name=“kafka”} != kafka.server:type=ReplicaManager

支持多个过滤：

{job=“mysql”} |= “error” != “timeout”

目前支持的操作符：

|= line包含字符串。!= line不包含字符串。|~ line匹配正则表达式。!~ line与正则表达式不匹配。