Go 浅析主流日志库:从设计层学习如何集成日志轮转与切割功能

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 本文将探讨几个热门的 go 日志库如 logrus、zap 和官网的 slog,我将分析这些库的的关键设计元素,探讨它们是如何支持日志轮转与切割功能的配置。

前言

在现有的日志库中,包括 go 1.21.0 引入的 slog 日志库,它们通常都支持对日志文件进行轮转与切割,只不过这些功能并不直接被内置,而是需要我们主动配置来启用。

本文将探讨几个热门的日志库如 logruszap 和官网的 slog,我将分析这些库的的关键设计元素,探讨它们是如何支持日志轮转与切割功能的配置。

准备好了吗?准备一杯你最喜欢的咖啡或茶,随着本文一探究竟吧。


前段时间发布了一篇 Go slog 包:开启结构化日志的奇妙之旅 文章,有一位网友问我该日志库是否支持日志轮转与切割功能,此文章也算是解答他的一个疑惑。

6c35734c7ca835f16d5f7987d16a43c8.png

浅析 logrus、zap 和 slog 的设计

在对 logruszapslog 这几个日志库的设计进行对比分析时,一个显著的共同点是它们都包含了 io.Writer 这个关键的属性。这一属性在日志框架设计中起着核心作用,它决定了日志输出的目标位置。

logrus 日志库

logrus 是一个功能丰富的Go语言日志库,它提供了结构化日志记录、日志级别控制等功能。

当使用 logrus 时,可以调用 logrus.New() 函数来创建 Logger 实例。通过该实例我们执行很多操作,例如自定义日志输出的位置和打印日志等。我们看看下面的代码:

logger := logrus.New()
logger.Out = os.Stdout // 标准输出
// 或者定向到文件
//out, err := os.OpenFile("file.log", os.O_CREATE|os.O_WRONLY, 0666)
//if err != nil {
   
   
//    panic(err)
//}
//logger.Out = out

Logger 结构体的定义如下所示:

type Logger struct {
   
   
    Out io.Writer
    Hooks LevelHooks
    Formatter Formatter
    // 其他字段...
}

关键属性 Out,其类型为 io.Writer,这一属性用于指定日志的输出目标,无论是标准输出、文件,还是其他自定义的输出载体。

zap 日志库

zap 是一个性能极高的日志库。它提供了结构化日志记录、多级别日志控制,以及灵活的配置选项。

logrus 类似,zap 也允许支持通过配置来决定日志输出的位置,但实现方式略有不同。在 zap 中,日志输出是通过配置 zapcore.Core 实现的。在创建 zapcore.Core 实例时,需要指定一个 zapcore.WriteSyncer 接口实现作为参数,这个参数直接决定了日志的输出目标。要创建 zapcore.WriteSyncer 实例,通常使用 zapcore.AddSync() 函数,它接收一个类型为 io.Writer 的参数。

下面是一个使用 zap 创建日志实例的基本示例:

writer := zapcore.AddSync(os.Stdout) // 使用标准输出作为日志目标
core := zapcore.NewCore(
    zapcore.NewJSONEncoder(zap.NewProductionEncoderConfig()),
    writer,
    zap.InfoLevel,
)
logger := zap.New(core)
defer logger.Sync() // 刷新任何缓冲的日志条目

// 使用 logger 进行日志记录

关键在于 zapcore.AddSync() 函数,该函数接收一个类型为 io.Writer 的参数,这一参数用于指定日志的输出目标,无论是标准输出、文件,还是其他自定义的输出载体。

slog 日志库

slog 是在 go 1.21.0 版本引入的一个官网日志库,它提供了结构化日志。如果想要更详细地了解 slog 日志库,自荐一篇文章 Go slog 包:开启结构化日志的奇妙之旅

logruszap 类似,slog 也允许用户通过指定 io.Writer 参数来设置日志输出的目标。这一设置是在创建 slog.Handler 接口的实现时进行的。

textLogger := slog.New(slog.NewTextHandler(os.Stdout, nil))
jsonLogger := slog.New(slog.NewJSONHandler(os.Stdout, nil))

在这两个函数中,slog.NewTextHandlerslog.NewJSONHandler 第一个参数的类型都是 io.Writer

浅析总结

在对 logurszapslog 这三个主流日志库的分析中,我们可以发现一个关键的共同点:它们在处理日志输出时均依赖于 io.Writer 接口。这些日志库通过将 io.Writer接口作为关键参数的类型,以便设置日志的输出目标。

请在此添加图片描述

日志轮转与切割功能的实现机制与实践

实现机制

在浅析了 logurszapslog 日志库的设计后,我们发现了它们的共同点。现在,让我们深入了解日志轮转与切割功能的实现机制。

为了实现 日志文件的轮转与切割,通常我们会借助第三方库,如 lumberjack,当然还有其他类似的库可供选择,这里就不一一列举了。

lumberjack 是一个专门设计用于日志轮转和切割的库,其作用可以类比于一个可插拔的组件。我们可以通过配置该组件,并将其 集成 到所选的日志库中,从而实现日志文件的轮转与切割功能。

初始化 lumberjack 组件的代码如下所示:

log := &lumberjack.Logger{
   
   
    Filename:   "/path/file.log", // 日志文件的位置
    MaxSize:    10, // 文件最大尺寸(以MB为单位)
    MaxBackups: 3, // 保留的最大旧文件数量
    MaxAge:     28, // 保留旧文件的最大天数
    Compress:   true, // 是否压缩/归档旧文件
    LocalTime:  true, // 使用本地时间创建时间戳
}

在这个例子中,我们创建了一个 lumberjack.Logger 实例,并设置了以下参数:

  • Filename:指定日志文件的存储路径。
  • MaxSize:日志文件达到多少 MB 后进行轮转。
  • MaxBackups:最多保留多少个旧日志文件。
  • MaxAge:旧文件保留的最长时间(天)。
  • Compress:是否压缩旧文件(如转换为.gz)。

需要特别注意的是, lumberjackLogger 结构体实现了 io.Writer 接口。这意味着所有关于日志文件的轮转与切割的核心逻辑都封装在 Write 方法中。这一实现也方便 Logger 结构体被集成到任何支持 io.Writer 参数的日志库中。

明白了这些,想必你已经知道如何实现日志轮转与切割的功能了吧。lumberjacklogger 结构体实现了 io.Writer 接口,因此将它传递到第三方库中,就能完成集成配置了。

实践

logrus 日志库的实现

log := &lumberjack.Logger{
   
   
    Filename:   "/path/file.log", // 日志文件的位置
    MaxSize:    10,               // 文件最大尺寸(以MB为单位)
    MaxBackups: 3,                // 保留的最大旧文件数量
    MaxAge:     28,               // 保留旧文件的最大天数
    Compress:   true,             // 是否压缩/归档旧文件
    LocalTime:  true,             // 使用本地时间创建时间戳
}
logger := logrus.New()
logger.Out = log

zap 日志库的实现

log := &lumberjack.Logger{
   
   
    Filename:   "/path/file.log", // 日志文件的位置
    MaxSize:    10,               // 文件最大尺寸(以MB为单位)
    MaxBackups: 3,                // 保留的最大旧文件数量
    MaxAge:     28,               // 保留旧文件的最大天数
    Compress:   true,             // 是否压缩/归档旧文件
    LocalTime:  true,             // 使用本地时间创建时间戳
}
writer := zapcore.AddSync(log)
core := zapcore.NewCore(
    zapcore.NewJSONEncoder(zap.NewProductionEncoderConfig()),
    writer,
    zap.InfoLevel,
)
logger := zap.New(core)
defer logger.Sync() // 刷新任何缓冲的日志条目

slog 日志库的实现

log := &lumberjack.Logger{
   
   
    Filename:   "/path/file.log", // 日志文件的位置
    MaxSize:    10,               // 文件最大尺寸(以MB为单位)
    MaxBackups: 3,                // 保留的最大旧文件数量
    MaxAge:     28,               // 保留旧文件的最大天数
    Compress:   true,             // 是否压缩/归档旧文件
    LocalTime:  true,             // 使用本地时间创建时间戳
}
textLogger := slog.New(slog.NewTextHandler(log, nil))
jsonLogger := slog.New(slog.NewJSONHandler(log, nil))

小结

本文对三个热门的日志库 logruszapslog 设计要素进行浅析,我们发现虽然它们在创建日志实例的细节上有所差异,但它们共同依赖于 io.Writer 接口参数来处理日志的输出。掌握如何配置 io.Writer 参数,并结合 lumberjack 库的使用,我们就可以实现日志文件的轮转与切割功能。

即使后面推出新的日志库,我们也可以通过类似的方法,快速地集成日志文件的轮转与切割功能。

如果本文对你有帮助,欢迎点赞收藏加关注,如果本文有错误的地方,欢迎指出!

我正在参与2023腾讯技术创作特训营第三期有奖征文,组队打卡瓜分大奖!

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
10天前
|
安全 Go
用 Zap 轻松搞定 Go 语言中的结构化日志
在现代应用程序开发中,日志记录至关重要。Go 语言中有许多日志库,而 Zap 因其高性能和灵活性脱颖而出。本文详细介绍如何在 Go 项目中使用 Zap 进行结构化日志记录,并展示如何定制日志输出,满足生产环境需求。通过基础示例、SugaredLogger 的便捷使用以及自定义日志配置,帮助你在实际开发中高效管理日志。
28 1
|
1月前
|
Rust 前端开发 JavaScript
Tauri 开发实践 — Tauri 日志记录功能开发
本文介绍了如何为 Tauri 应用配置日志记录。Tauri 是一个利用 Web 技术构建桌面应用的框架。文章详细说明了如何在 Rust 和 JavaScript 代码中设置和集成日志记录,并控制日志输出。通过添加 `log` crate 和 Tauri 日志插件,可以轻松实现多平台日志记录,包括控制台输出、Webview 控制台和日志文件。文章还展示了如何调整日志级别以优化输出内容。配置完成后,日志记录功能将显著提升开发体验和程序稳定性。
66 1
Tauri 开发实践 — Tauri 日志记录功能开发
|
23天前
|
Java 程序员 API
Android|集成 slf4j + logback 作为日志框架
做个简单改造,统一 Android APP 和 Java 后端项目打印日志的体验。
91 1
|
1月前
|
Arthas 监控 Java
JVM知识体系学习七:了解JVM常用命令行参数、GC日志详解、调优三大方面(JVM规划和预调优、优化JVM环境、JVM运行出现的各种问题)、Arthas
这篇文章全面介绍了JVM的命令行参数、GC日志分析以及性能调优的各个方面,包括监控工具使用和实际案例分析。
43 3
|
1月前
|
存储 Prometheus NoSQL
大数据-44 Redis 慢查询日志 监视器 慢查询测试学习
大数据-44 Redis 慢查询日志 监视器 慢查询测试学习
25 3
|
1月前
|
数据采集 监控 Java
SpringBoot日志全方位超详细手把手教程,零基础可学习 日志如何配置及SLF4J的使用......
本文是关于SpringBoot日志的详细教程,涵盖日志的定义、用途、SLF4J框架的使用、日志级别、持久化、文件分割及格式配置等内容。
132 0
SpringBoot日志全方位超详细手把手教程,零基础可学习 日志如何配置及SLF4J的使用......
|
2月前
|
Kubernetes API Docker
跟着iLogtail学习容器运行时与K8s下日志采集方案
iLogtail 作为开源可观测数据采集器,对 Kubernetes 环境下日志采集有着非常好的支持,本文跟随 iLogtail 的脚步,了解容器运行时与 K8s 下日志数据采集原理。
|
2月前
|
Kubernetes Go 持续交付
一个基于Go程序的持续集成/持续部署(CI/CD)
本教程通过一个简单的Go程序示例,展示了如何使用GitHub Actions实现从代码提交到Kubernetes部署的CI/CD流程。首先创建并版本控制Go项目,接着编写Dockerfile构建镜像,再配置CI/CD流程自动化构建、推送Docker镜像及部署应用。此流程基于GitHub仓库,适用于快速迭代开发。
51 3
|
2月前
|
Kubernetes 持续交付 Go
创建一个基于Go程序的持续集成/持续部署(CI/CD)流水线
创建一个基于Go程序的持续集成/持续部署(CI/CD)流水线
|
1月前
|
Python
log日志学习
【10月更文挑战第9天】 python处理log打印模块log的使用和介绍
31 0