轻量级日志系统Loki原理简介和使用(3)

本文涉及的产品
容器服务 Serverless 版 ACK Serverless,952元额度 多规格
日志服务 SLS,月写入数据量 50GB 1个月
容器服务 Serverless 版 ACK Serverless,317元额度 多规格
简介: 轻量级日志系统Loki原理简介和使用(3)

image.png


image.png


上面咱说完了 liki架构、实现原理及环境搭建过程


现在就结束了吗? No 那多显得那么出类拔萃呀 哈哈


咱再结合一个具体的案例:


使用loki对接下k8s下面的pod日志


let's go !


具体过程如下:


1、nacos为注册中心


2、user和order为2个springboot项目


3、将user和order使用k8s部署


4、访问user接口 ,user访问order 打印出日志


5、该日志通过loki显示出来


1-4过程 咱们之前的文章介绍过


【实战】K8S部署Nacos微服务


朋友们如果自己想实际操练一遍的话可以先看下这篇文章 使用k8s把项目部署起来


部署的效果是


nacos界面


image.png


image.png


image.png


现在loki有了,k8s pod 日志也有了 下面咱看看loki和k8s如何关联起来 达到通过loki查询k8s的效果


这里只需要实现 promtail访问到k8s日志就可以了


promtail可以直接访问到k8s集群内部的日志


也可以将k8s集群内部的日志挂载到宿主机器上 然后再通过promtail访问宿主机上的日志

这里介绍4种实现方式


咱们分别实现下看看


备注:这篇文章先简单介绍下4种方式的思路,下篇文章咱们针对这4种方式实现相应的效果


方式1:将默认路径 var/logs/*log 修改成/var/log/container


promtail可以直接访问到k8s集群内部的日志


首先需要知道 k8s集群下面的pod生成的日志 默认目录为/var/log/containers


1、咱先看看上面的promtail的docker-compose的配置命令


promtail:
    image: grafana/promtail:1.5.0
    volumes:
      - /var/log/container:/var/log/container
    command: -config.file=/etc/promtail/docker-config.yaml
    networks:
      - loki


其中 /etc/promtail/docker-config.yaml


是访问的docker内部的配置文件


咱进去docker内部看下


a、查看容器id


docker ps |grep promtail


b、进入容器


docker exec -it 71cb21c2d0a3 sh


image.png


看到了

job=varlogs

对应的日志文件路径是 /var/log/*log

是不是有似曾相识的感觉


image.png


job对应varlogs

filenames是对应的日志路径 /var/log/*log下面的日志文件

当然只是在promtail容器内部的

在这里只需要将/var/log/*log路径修改成 /var/log/container/*log 这个路径就可以了

那如何修改呢

我们知道 这个配置文件是在容器内部的

要想修改这个配置文件 需要在宿主机也弄一份 然后修改宿主机上的这份文件 然后替换掉docker种的这个配置即可


image.png


image.png


看到界面效果 发现问题了没?


1、路径不是修改成 /var/log/container/*log 这个了吗 怎么还是 /var/log下面的日志?


2、选中一个日志文件怎么显示不出来该文件的内容


这2个问题放到下篇文章解答下吧 (先埋个坑 哈哈 我这么这么坏)


方式2



- replacement: /var/log/container/*.log


这种方式也放到下篇文章再说吧


方式3:将k8s集群内部的日志挂载到宿主机器上 然后再通过promtail访问宿主机上的日志


这种方式 我试过了 也是达到期望效果的


1、


首先给springboot项目添加日志文件输出 咱们这个示例中 以user项目为例说下


  • 增加日志文件


image.png


  • 日志文件的输出目录是 /opt/logs


2、将springboot项目生成docker镜像 然后上传到阿里的镜像库 然后在k8s user 配置文件中引用这个镜像库


这些都在之前那篇文章中详细说过了 这里就不再附述了


这里只需要不同点


image.png


圈红的地方是添加的映射


volumeMounts 这个是将docker内部的/opt/logs目录作为挂载目录


volumes 这个是将宿主机中的


/Users/mengfanxiao/Documents/third_software/loki/log


目录作为映射目录 即docker中的/opt/logs下面的日志会映射到该目录下


需要注意:


我一开始用的目录是 /opt/logs 但是在我的mac环境中一直不能将docker中的日志目录

映射到宿主机上 但 centos就可以 这个原因也放到下篇文章说下吧


3、最后 只需要让promtail访


问/Users/mengfanxiao/Documents/third_software/loki/log 这个目录下面的日志就行了


至于怎么让promtail访问 下篇再说吧


方式4:promtail不是从/var/log目录下读取的日志嘛 那么我将user日志输出到/var/log 下面不就行了


可能遇到的问题


  • 如果k8s状态是start fail状态 则service暴露NodePort的端口也访问不了的情况下 需要重新启动下k8s


启动方式 可以参考下我之前的那篇文章K8S原理简介及环境搭建

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
2月前
|
Prometheus Cloud Native 数据库
Grafana 系列文章(九):开源云原生日志解决方案 Loki 简介
Grafana 系列文章(九):开源云原生日志解决方案 Loki 简介
|
2月前
|
SQL 关系型数据库 MySQL
Mysql 的binlog日志的原理【4月更文挑战第1天】
【4月更文挑战第1天】 MySQL的binlog(二进制日志)是一个记录数据库更改的日志文件,它主要用于复制和恢复操作。以下是binlog日志的工作原理的简要概述: **事件写入**:当MySQL服务器执行一个事务时,它会将该事务中所有对数据库的修改操作(如INSERT、UPDATE和DELETE等)记录为一个事件(event)。这些事件包含了修改操作的相关信息,如操作类型、涉及的表、修改的行等。
108 1
|
11天前
|
消息中间件 存储 Kafka
go语言并发实战——日志收集系统(二) Kafka简介
go语言并发实战——日志收集系统(二) Kafka简介
|
2月前
|
存储 监控 数据可视化
Nginx+Promtail+Loki+Grafana Nginx日志展示
通过这些步骤,你可以将Nginx的日志收集、存储、查询和可视化整合在一起。这样,你就可以在Grafana中轻松地创建和展示Nginx日志的图表和面板。
107 3
|
2月前
|
存储 Prometheus 索引
日志系统新贵Loki,确实比笨重的ELK轻
日志系统新贵Loki,确实比笨重的ELK轻
52 0
|
2月前
|
存储 SQL 关系型数据库
[MySQL]事务原理之redo log,undo log
[MySQL]事务原理之redo log,undo log
150 0
|
2月前
|
Java Spring
Spring5深入浅出篇:Spring工厂简单原理以及日志应用
Spring5深入浅出篇:Spring工厂简单原理以及日志应用
|
2月前
|
存储 测试技术 索引
「译文」Loki 简明指南:如何处理失序和较旧的日志
「译文」Loki 简明指南:如何处理失序和较旧的日志
|
2月前
|
存储 Prometheus Cloud Native
「译文」开源日志监控:Grafana Loki 简要指南
「译文」开源日志监控:Grafana Loki 简要指南
|
2月前
|
JSON Prometheus Cloud Native
Grafana 系列 -Loki- 基于日志实现告警
Grafana 系列 -Loki- 基于日志实现告警