Grafana 系列文章(十二):如何使用 Loki 创建一个用于搜索日志的 Grafana 仪表板

本文涉及的产品
可观测可视化 Grafana 版,10个用户账号 1个月
简介: Grafana 系列文章(十二):如何使用 Loki 创建一个用于搜索日志的 Grafana 仪表板

概述

创建一个简单的 Grafana 仪表板, 以实现对日志的快速搜索.

有经验的直接用 Grafana 的 Explore 功能就可以了.

但是对于没有经验的人, 他们如何能有一个已经预设了简单的标签搜索的仪表板,以帮助一些团队在排除故障时快速找到他们正在寻找的东西。虽然 Explore 很适合这个用例,但对于第一次使用的人,或者半夜收到告警的人来说,也可能有点令人生畏。

所以, 尝试通过一些模板变量来创建一个展示日志的 Grafana 仪表板.

步骤

实现概述

创建个 Logs Panel 的仪表板, 然后添加几个变量, Logs Panel 的 LogQL 表达式引入这些变量.

创建变量

因为 Loki 和 Prometheus 共享一套 Label, 所以可以通过 Prometheus 的 Label 来作为 Loki 的变量. 如下图:

String together Prometheus variables

这里创建一个可以通过: namespace, pod, 日志过滤条件 筛选日志的仪表板:

  1. namespace变量, 通过该变量获取所有的namespace作为变量筛选条件:
  1. Type: Query
  2. DataSource: Prometheus
  3. Query: label_values(kube_pod_info, namespace)
  1. pod变量, 通过该变量获取对应namespace下的pod作为变量筛选条件以缩小日志搜索空间:
  1. Type: Query
  2. DataSource: Prometheus
  3. Query: label_values(container_network_receive_bytes_total{namespace=~"$namespace"},pod)
  4. Multi-value: 勾选;
  5. Include All option: 勾选
  6. Custom all value: .*
  7. 🐾注意,使用 container_network_receive_bytes_total 作为指标名称来寻找可用的 pod,但你可以使用任何指标来代表你环境中的所有 pod。
  1. search变量, 通过该变量作为 LogQL 的管道过滤条件, 它被用来实际执行搜索:
  1. Type: Text Box
  2. Default value: rror (命中 Errorerror)

执行 LogQL

最后, 把上面的变量串联起来, 添加 Logs Panel, 使用 Loki 作为数据源, 并使用{namespace="$namespace", instance=~"$pod"} |~ "$search" 作为 LogQL. 如下:

Logs panel

所有这些加在一起,提供了一个漂亮而简单的搜索日志的界面–不熟悉的人甚至不需要写一个 LogQL 查询!

如果你想查看的话,这里是仪表板 json

再做一个查看 Journal 日志的

同样, 再做一个查看 Journal 日志的:

创建变量

这里直接使用 Loki 的 Label.

这里创建一个可以通过: hostname, unit, 日志过滤条件 筛选日志的仪表板:

  1. hostname变量, 通过该变量获取所有的hostname作为变量筛选条件:
  1. Type: Query
  2. DataSource: Loki
  3. Query: label_values(hostname)
  4. Multi-value: 勾选
  5. Include All option: 勾选
  6. Custom all value: .+
  1. unit变量, 通过该变量获取对应hostname下的unit作为变量筛选条件以缩小日志搜索空间:
  1. Type: Query
  2. DataSource: Loki
  3. Query: label_values({hostname=~"$hostname"}, unit)
  4. Multi-value: 勾选;
  5. Include All option: 勾选
  6. Custom all value: .+
  7. 🐾注意,使用 container_network_receive_bytes_total 作为指标名称来寻找可用的 pod,但你可以使用任何指标来代表你环境中的所有 pod。
  1. search变量, 通过该变量作为 LogQL 的管道过滤条件, 它被用来实际执行搜索:
  1. Type: Text Box
  2. Default value: rror (命中 Errorerror)

执行 LogQL

最后, 把上面的变量串联起来, 添加 Logs Panel, 使用 Loki 作为数据源, 并使用{hostname=~"$hostname", unit=~"$unit"} |~ "$search" 作为 LogQL. 如下:

Loki Journal Logs

最终效果

最终效果如下:

Logs panel

和如下:

Loki Journal Logs

🎉🎉🎉

相关文章
|
2月前
|
存储 Prometheus Cloud Native
「译文」Grafana Loki 简要指南:关于标签您需要了解的一切
「译文」Grafana Loki 简要指南:关于标签您需要了解的一切
|
2月前
|
JSON Prometheus Cloud Native
Grafana 系列 - 统一展示 -8-ElasticSearch 日志快速搜索仪表板
Grafana 系列 - 统一展示 -8-ElasticSearch 日志快速搜索仪表板
|
2月前
|
存储 测试技术 索引
「译文」Loki 简明指南:如何处理失序和较旧的日志
「译文」Loki 简明指南:如何处理失序和较旧的日志
|
2月前
|
存储 Prometheus Cloud Native
「译文」开源日志监控:Grafana Loki 简要指南
「译文」开源日志监控:Grafana Loki 简要指南
|
2月前
|
JSON Prometheus Cloud Native
Grafana 系列 -Loki- 基于日志实现告警
Grafana 系列 -Loki- 基于日志实现告警
|
2月前
|
监控 JavaScript 前端开发
Grafana 系列 - 统一展示 -6-Zabbix 仪表板
Grafana 系列 - 统一展示 -6-Zabbix 仪表板
|
2月前
|
JSON Prometheus Cloud Native
Grafana 系列 - 统一展示 -3-Prometheus 仪表板
Grafana 系列 - 统一展示 -3-Prometheus 仪表板
|
3月前
|
Prometheus 监控 Kubernetes
Prometheus + Grafana安装
Prometheus + Grafana安装
|
3月前
|
Prometheus Cloud Native Java
微服务框架(二十三)Prometheus + Grafana 安装、配置及使用
此系列文章将会描述Java框架Spring Boot、服务治理框架Dubbo、应用容器引擎Docker,及使用Spring Boot集成Dubbo、Mybatis等开源框架,其中穿插着Spring Boot中日志切面等技术的实现,然后通过gitlab-CI以持续集成为Docker镜像。 本文为Prometheus + Grafana 安装、配置及使用 本系列文章中所使用的框架版本为Spring ...
|
4月前
|
Prometheus 监控 前端开发
prometheus|云原生|grafana-9.4.3版本的主题更改
prometheus|云原生|grafana-9.4.3版本的主题更改
91 0