Go 浅析主流日志库:从设计层学习如何集成日志轮转与切割功能

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 本文将探讨几个热门的 go 日志库如 logrus、zap 和官网的 slog,我将分析这些库的的关键设计元素,探讨它们是如何支持日志轮转与切割功能的配置。

前言

在现有的日志库中,包括 go 1.21.0 引入的 slog 日志库,它们通常都支持对日志文件进行轮转与切割,只不过这些功能并不直接被内置,而是需要我们主动配置来启用。

本文将探讨几个热门的日志库如 logruszap 和官网的 slog,我将分析这些库的的关键设计元素,探讨它们是如何支持日志轮转与切割功能的配置。

准备好了吗?准备一杯你最喜欢的咖啡或茶,随着本文一探究竟吧。


前段时间发布了一篇 Go slog 包:开启结构化日志的奇妙之旅 文章,有一位网友问我该日志库是否支持日志轮转与切割功能,此文章也算是解答他的一个疑惑。

6c35734c7ca835f16d5f7987d16a43c8.png

浅析 logrus、zap 和 slog 的设计

在对 logruszapslog 这几个日志库的设计进行对比分析时,一个显著的共同点是它们都包含了 io.Writer 这个关键的属性。这一属性在日志框架设计中起着核心作用,它决定了日志输出的目标位置。

logrus 日志库

logrus 是一个功能丰富的Go语言日志库,它提供了结构化日志记录、日志级别控制等功能。

当使用 logrus 时,可以调用 logrus.New() 函数来创建 Logger 实例。通过该实例我们执行很多操作,例如自定义日志输出的位置和打印日志等。我们看看下面的代码:

logger := logrus.New()
logger.Out = os.Stdout // 标准输出
// 或者定向到文件
//out, err := os.OpenFile("file.log", os.O_CREATE|os.O_WRONLY, 0666)
//if err != nil {
   
   
//    panic(err)
//}
//logger.Out = out

Logger 结构体的定义如下所示:

type Logger struct {
   
   
    Out io.Writer
    Hooks LevelHooks
    Formatter Formatter
    // 其他字段...
}

关键属性 Out,其类型为 io.Writer,这一属性用于指定日志的输出目标,无论是标准输出、文件,还是其他自定义的输出载体。

zap 日志库

zap 是一个性能极高的日志库。它提供了结构化日志记录、多级别日志控制,以及灵活的配置选项。

logrus 类似,zap 也允许支持通过配置来决定日志输出的位置,但实现方式略有不同。在 zap 中,日志输出是通过配置 zapcore.Core 实现的。在创建 zapcore.Core 实例时,需要指定一个 zapcore.WriteSyncer 接口实现作为参数,这个参数直接决定了日志的输出目标。要创建 zapcore.WriteSyncer 实例,通常使用 zapcore.AddSync() 函数,它接收一个类型为 io.Writer 的参数。

下面是一个使用 zap 创建日志实例的基本示例:

writer := zapcore.AddSync(os.Stdout) // 使用标准输出作为日志目标
core := zapcore.NewCore(
    zapcore.NewJSONEncoder(zap.NewProductionEncoderConfig()),
    writer,
    zap.InfoLevel,
)
logger := zap.New(core)
defer logger.Sync() // 刷新任何缓冲的日志条目

// 使用 logger 进行日志记录

关键在于 zapcore.AddSync() 函数,该函数接收一个类型为 io.Writer 的参数,这一参数用于指定日志的输出目标,无论是标准输出、文件,还是其他自定义的输出载体。

slog 日志库

slog 是在 go 1.21.0 版本引入的一个官网日志库,它提供了结构化日志。如果想要更详细地了解 slog 日志库,自荐一篇文章 Go slog 包:开启结构化日志的奇妙之旅

logruszap 类似,slog 也允许用户通过指定 io.Writer 参数来设置日志输出的目标。这一设置是在创建 slog.Handler 接口的实现时进行的。

textLogger := slog.New(slog.NewTextHandler(os.Stdout, nil))
jsonLogger := slog.New(slog.NewJSONHandler(os.Stdout, nil))

在这两个函数中,slog.NewTextHandlerslog.NewJSONHandler 第一个参数的类型都是 io.Writer

浅析总结

在对 logurszapslog 这三个主流日志库的分析中,我们可以发现一个关键的共同点:它们在处理日志输出时均依赖于 io.Writer 接口。这些日志库通过将 io.Writer接口作为关键参数的类型,以便设置日志的输出目标。

请在此添加图片描述

日志轮转与切割功能的实现机制与实践

实现机制

在浅析了 logurszapslog 日志库的设计后,我们发现了它们的共同点。现在,让我们深入了解日志轮转与切割功能的实现机制。

为了实现 日志文件的轮转与切割,通常我们会借助第三方库,如 lumberjack,当然还有其他类似的库可供选择,这里就不一一列举了。

lumberjack 是一个专门设计用于日志轮转和切割的库,其作用可以类比于一个可插拔的组件。我们可以通过配置该组件,并将其 集成 到所选的日志库中,从而实现日志文件的轮转与切割功能。

初始化 lumberjack 组件的代码如下所示:

log := &lumberjack.Logger{
   
   
    Filename:   "/path/file.log", // 日志文件的位置
    MaxSize:    10, // 文件最大尺寸(以MB为单位)
    MaxBackups: 3, // 保留的最大旧文件数量
    MaxAge:     28, // 保留旧文件的最大天数
    Compress:   true, // 是否压缩/归档旧文件
    LocalTime:  true, // 使用本地时间创建时间戳
}

在这个例子中,我们创建了一个 lumberjack.Logger 实例,并设置了以下参数:

  • Filename:指定日志文件的存储路径。
  • MaxSize:日志文件达到多少 MB 后进行轮转。
  • MaxBackups:最多保留多少个旧日志文件。
  • MaxAge:旧文件保留的最长时间(天)。
  • Compress:是否压缩旧文件(如转换为.gz)。

需要特别注意的是, lumberjackLogger 结构体实现了 io.Writer 接口。这意味着所有关于日志文件的轮转与切割的核心逻辑都封装在 Write 方法中。这一实现也方便 Logger 结构体被集成到任何支持 io.Writer 参数的日志库中。

明白了这些,想必你已经知道如何实现日志轮转与切割的功能了吧。lumberjacklogger 结构体实现了 io.Writer 接口,因此将它传递到第三方库中,就能完成集成配置了。

实践

logrus 日志库的实现

log := &lumberjack.Logger{
   
   
    Filename:   "/path/file.log", // 日志文件的位置
    MaxSize:    10,               // 文件最大尺寸(以MB为单位)
    MaxBackups: 3,                // 保留的最大旧文件数量
    MaxAge:     28,               // 保留旧文件的最大天数
    Compress:   true,             // 是否压缩/归档旧文件
    LocalTime:  true,             // 使用本地时间创建时间戳
}
logger := logrus.New()
logger.Out = log

zap 日志库的实现

log := &lumberjack.Logger{
   
   
    Filename:   "/path/file.log", // 日志文件的位置
    MaxSize:    10,               // 文件最大尺寸(以MB为单位)
    MaxBackups: 3,                // 保留的最大旧文件数量
    MaxAge:     28,               // 保留旧文件的最大天数
    Compress:   true,             // 是否压缩/归档旧文件
    LocalTime:  true,             // 使用本地时间创建时间戳
}
writer := zapcore.AddSync(log)
core := zapcore.NewCore(
    zapcore.NewJSONEncoder(zap.NewProductionEncoderConfig()),
    writer,
    zap.InfoLevel,
)
logger := zap.New(core)
defer logger.Sync() // 刷新任何缓冲的日志条目

slog 日志库的实现

log := &lumberjack.Logger{
   
   
    Filename:   "/path/file.log", // 日志文件的位置
    MaxSize:    10,               // 文件最大尺寸(以MB为单位)
    MaxBackups: 3,                // 保留的最大旧文件数量
    MaxAge:     28,               // 保留旧文件的最大天数
    Compress:   true,             // 是否压缩/归档旧文件
    LocalTime:  true,             // 使用本地时间创建时间戳
}
textLogger := slog.New(slog.NewTextHandler(log, nil))
jsonLogger := slog.New(slog.NewJSONHandler(log, nil))

小结

本文对三个热门的日志库 logruszapslog 设计要素进行浅析,我们发现虽然它们在创建日志实例的细节上有所差异,但它们共同依赖于 io.Writer 接口参数来处理日志的输出。掌握如何配置 io.Writer 参数,并结合 lumberjack 库的使用,我们就可以实现日志文件的轮转与切割功能。

即使后面推出新的日志库,我们也可以通过类似的方法,快速地集成日志文件的轮转与切割功能。

如果本文对你有帮助,欢迎点赞收藏加关注,如果本文有错误的地方,欢迎指出!

我正在参与2023腾讯技术创作特训营第三期有奖征文,组队打卡瓜分大奖!

相关实践学习
日志服务之数据清洗与入湖
本教程介绍如何使用日志服务接入NGINX模拟数据,通过数据加工对数据进行清洗并归档至OSS中进行存储。
目录
相关文章
|
8天前
|
Python
Python编程实战:利用闭包与装饰器优化日志记录功能
【7月更文挑战第7天】Python的闭包和装饰器简化了日志记录。通过定义如`log_decorator`的装饰器,可以在不修改原函数代码的情况下添加日志功能。当@log_decorator用于`add(x, y)`函数时,调用时自动记录日志。进一步,`timestamp_log_decorator`展示了如何创建特定功能的装饰器,如添加时间戳。这些技术减少了代码冗余,提高了代码的可维护性。
15 1
|
10天前
|
监控
若依修改-----其他功能,包括参数设置,通知公告,日志管理,验证码控制开关在参数设置里,若依的注册页面是隐藏的,在src的login.vue的97行注册开发,修改成true,通知公告,促进组织内部信
若依修改-----其他功能,包括参数设置,通知公告,日志管理,验证码控制开关在参数设置里,若依的注册页面是隐藏的,在src的login.vue的97行注册开发,修改成true,通知公告,促进组织内部信
|
23天前
spdlog 日志库部分源码说明——让你可以自定义的指定自动切换日志时间
spdlog 日志库部分源码说明——让你可以自定义的指定自动切换日志时间
25 7
|
23天前
|
C++
spdlog 日志库部分源码说明——日志格式设定,DIY你自己喜欢的调试信息,你能调试的远比你想象的还要丰富
spdlog 日志库部分源码说明——日志格式设定,DIY你自己喜欢的调试信息,你能调试的远比你想象的还要丰富
44 6
|
1天前
|
机器学习/深度学习 PyTorch TensorFlow
在深度学习中,数据增强是一种常用的技术,用于通过增加训练数据的多样性来提高模型的泛化能力。`albumentations`是一个强大的Python库,用于图像增强,支持多种图像变换操作,并且可以与深度学习框架(如PyTorch、TensorFlow等)无缝集成。
在深度学习中,数据增强是一种常用的技术,用于通过增加训练数据的多样性来提高模型的泛化能力。`albumentations`是一个强大的Python库,用于图像增强,支持多种图像变换操作,并且可以与深度学习框架(如PyTorch、TensorFlow等)无缝集成。
8 0
|
25天前
|
缓存 监控 安全
在 Spring Boot 中使用 AOP(Aspect-Oriented Programming)实现日志记录功能
在 Spring Boot 中使用 AOP(Aspect-Oriented Programming)实现日志记录功能
26 1
|
10天前
|
XML Java 数据格式
支付系统----微信支付20---创建案例项目--集成Mybatis-plus的补充,target下只有接口的编译文件,xml文件了,添加日志的写法
支付系统----微信支付20---创建案例项目--集成Mybatis-plus的补充,target下只有接口的编译文件,xml文件了,添加日志的写法
|
13天前
|
安全 JavaScript
2. 集成 uni-ui 组件库
2. 集成 uni-ui 组件库
15 0
|
17天前
|
Java Apache
学习Java中的日志系统设计与优化
学习Java中的日志系统设计与优化
|
17天前
|
Java Spring 容器
Spring5系列学习文章分享---第六篇(框架新功能系列+整合日志+ @Nullable注解 + JUnit5整合)
Spring5系列学习文章分享---第六篇(框架新功能系列+整合日志+ @Nullable注解 + JUnit5整合)
15 0