Go 浅析主流日志库:从设计层学习如何集成日志轮转与切割功能

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 本文将探讨几个热门的 go 日志库如 logrus、zap 和官网的 slog,我将分析这些库的的关键设计元素,探讨它们是如何支持日志轮转与切割功能的配置。

前言

在现有的日志库中,包括 go 1.21.0 引入的 slog 日志库,它们通常都支持对日志文件进行轮转与切割,只不过这些功能并不直接被内置,而是需要我们主动配置来启用。

本文将探讨几个热门的日志库如 logruszap 和官网的 slog,我将分析这些库的的关键设计元素,探讨它们是如何支持日志轮转与切割功能的配置。

准备好了吗?准备一杯你最喜欢的咖啡或茶,随着本文一探究竟吧。


前段时间发布了一篇 Go slog 包:开启结构化日志的奇妙之旅 文章,有一位网友问我该日志库是否支持日志轮转与切割功能,此文章也算是解答他的一个疑惑。

6c35734c7ca835f16d5f7987d16a43c8.png

浅析 logrus、zap 和 slog 的设计

在对 logruszapslog 这几个日志库的设计进行对比分析时,一个显著的共同点是它们都包含了 io.Writer 这个关键的属性。这一属性在日志框架设计中起着核心作用,它决定了日志输出的目标位置。

logrus 日志库

logrus 是一个功能丰富的Go语言日志库,它提供了结构化日志记录、日志级别控制等功能。

当使用 logrus 时,可以调用 logrus.New() 函数来创建 Logger 实例。通过该实例我们执行很多操作,例如自定义日志输出的位置和打印日志等。我们看看下面的代码:

logger := logrus.New()
logger.Out = os.Stdout // 标准输出
// 或者定向到文件
//out, err := os.OpenFile("file.log", os.O_CREATE|os.O_WRONLY, 0666)
//if err != nil {
   
   
//    panic(err)
//}
//logger.Out = out

Logger 结构体的定义如下所示:

type Logger struct {
   
   
    Out io.Writer
    Hooks LevelHooks
    Formatter Formatter
    // 其他字段...
}

关键属性 Out,其类型为 io.Writer,这一属性用于指定日志的输出目标,无论是标准输出、文件,还是其他自定义的输出载体。

zap 日志库

zap 是一个性能极高的日志库。它提供了结构化日志记录、多级别日志控制,以及灵活的配置选项。

logrus 类似,zap 也允许支持通过配置来决定日志输出的位置,但实现方式略有不同。在 zap 中,日志输出是通过配置 zapcore.Core 实现的。在创建 zapcore.Core 实例时,需要指定一个 zapcore.WriteSyncer 接口实现作为参数,这个参数直接决定了日志的输出目标。要创建 zapcore.WriteSyncer 实例,通常使用 zapcore.AddSync() 函数,它接收一个类型为 io.Writer 的参数。

下面是一个使用 zap 创建日志实例的基本示例:

writer := zapcore.AddSync(os.Stdout) // 使用标准输出作为日志目标
core := zapcore.NewCore(
    zapcore.NewJSONEncoder(zap.NewProductionEncoderConfig()),
    writer,
    zap.InfoLevel,
)
logger := zap.New(core)
defer logger.Sync() // 刷新任何缓冲的日志条目

// 使用 logger 进行日志记录

关键在于 zapcore.AddSync() 函数,该函数接收一个类型为 io.Writer 的参数,这一参数用于指定日志的输出目标,无论是标准输出、文件,还是其他自定义的输出载体。

slog 日志库

slog 是在 go 1.21.0 版本引入的一个官网日志库,它提供了结构化日志。如果想要更详细地了解 slog 日志库,自荐一篇文章 Go slog 包:开启结构化日志的奇妙之旅

logruszap 类似,slog 也允许用户通过指定 io.Writer 参数来设置日志输出的目标。这一设置是在创建 slog.Handler 接口的实现时进行的。

textLogger := slog.New(slog.NewTextHandler(os.Stdout, nil))
jsonLogger := slog.New(slog.NewJSONHandler(os.Stdout, nil))

在这两个函数中,slog.NewTextHandlerslog.NewJSONHandler 第一个参数的类型都是 io.Writer

浅析总结

在对 logurszapslog 这三个主流日志库的分析中,我们可以发现一个关键的共同点:它们在处理日志输出时均依赖于 io.Writer 接口。这些日志库通过将 io.Writer接口作为关键参数的类型,以便设置日志的输出目标。

请在此添加图片描述

日志轮转与切割功能的实现机制与实践

实现机制

在浅析了 logurszapslog 日志库的设计后,我们发现了它们的共同点。现在,让我们深入了解日志轮转与切割功能的实现机制。

为了实现 日志文件的轮转与切割,通常我们会借助第三方库,如 lumberjack,当然还有其他类似的库可供选择,这里就不一一列举了。

lumberjack 是一个专门设计用于日志轮转和切割的库,其作用可以类比于一个可插拔的组件。我们可以通过配置该组件,并将其 集成 到所选的日志库中,从而实现日志文件的轮转与切割功能。

初始化 lumberjack 组件的代码如下所示:

log := &lumberjack.Logger{
   
   
    Filename:   "/path/file.log", // 日志文件的位置
    MaxSize:    10, // 文件最大尺寸(以MB为单位)
    MaxBackups: 3, // 保留的最大旧文件数量
    MaxAge:     28, // 保留旧文件的最大天数
    Compress:   true, // 是否压缩/归档旧文件
    LocalTime:  true, // 使用本地时间创建时间戳
}

在这个例子中,我们创建了一个 lumberjack.Logger 实例,并设置了以下参数:

  • Filename:指定日志文件的存储路径。
  • MaxSize:日志文件达到多少 MB 后进行轮转。
  • MaxBackups:最多保留多少个旧日志文件。
  • MaxAge:旧文件保留的最长时间(天)。
  • Compress:是否压缩旧文件(如转换为.gz)。

需要特别注意的是, lumberjackLogger 结构体实现了 io.Writer 接口。这意味着所有关于日志文件的轮转与切割的核心逻辑都封装在 Write 方法中。这一实现也方便 Logger 结构体被集成到任何支持 io.Writer 参数的日志库中。

明白了这些,想必你已经知道如何实现日志轮转与切割的功能了吧。lumberjacklogger 结构体实现了 io.Writer 接口,因此将它传递到第三方库中,就能完成集成配置了。

实践

logrus 日志库的实现

log := &lumberjack.Logger{
   
   
    Filename:   "/path/file.log", // 日志文件的位置
    MaxSize:    10,               // 文件最大尺寸(以MB为单位)
    MaxBackups: 3,                // 保留的最大旧文件数量
    MaxAge:     28,               // 保留旧文件的最大天数
    Compress:   true,             // 是否压缩/归档旧文件
    LocalTime:  true,             // 使用本地时间创建时间戳
}
logger := logrus.New()
logger.Out = log

zap 日志库的实现

log := &lumberjack.Logger{
   
   
    Filename:   "/path/file.log", // 日志文件的位置
    MaxSize:    10,               // 文件最大尺寸(以MB为单位)
    MaxBackups: 3,                // 保留的最大旧文件数量
    MaxAge:     28,               // 保留旧文件的最大天数
    Compress:   true,             // 是否压缩/归档旧文件
    LocalTime:  true,             // 使用本地时间创建时间戳
}
writer := zapcore.AddSync(log)
core := zapcore.NewCore(
    zapcore.NewJSONEncoder(zap.NewProductionEncoderConfig()),
    writer,
    zap.InfoLevel,
)
logger := zap.New(core)
defer logger.Sync() // 刷新任何缓冲的日志条目

slog 日志库的实现

log := &lumberjack.Logger{
   
   
    Filename:   "/path/file.log", // 日志文件的位置
    MaxSize:    10,               // 文件最大尺寸(以MB为单位)
    MaxBackups: 3,                // 保留的最大旧文件数量
    MaxAge:     28,               // 保留旧文件的最大天数
    Compress:   true,             // 是否压缩/归档旧文件
    LocalTime:  true,             // 使用本地时间创建时间戳
}
textLogger := slog.New(slog.NewTextHandler(log, nil))
jsonLogger := slog.New(slog.NewJSONHandler(log, nil))

小结

本文对三个热门的日志库 logruszapslog 设计要素进行浅析,我们发现虽然它们在创建日志实例的细节上有所差异,但它们共同依赖于 io.Writer 接口参数来处理日志的输出。掌握如何配置 io.Writer 参数,并结合 lumberjack 库的使用,我们就可以实现日志文件的轮转与切割功能。

即使后面推出新的日志库,我们也可以通过类似的方法,快速地集成日志文件的轮转与切割功能。

如果本文对你有帮助,欢迎点赞收藏加关注,如果本文有错误的地方,欢迎指出!

我正在参与2023腾讯技术创作特训营第三期有奖征文,组队打卡瓜分大奖!

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
19天前
|
安全 定位技术 API
婚恋交友系统匹配功能 婚恋相亲软件实现定位 语音社交app红娘系统集成高德地图SDK
在婚恋交友系统中集成高德地图,可实现用户定位、导航及基于地理位置的匹配推荐等功能。具体步骤如下: 1. **注册账号**:访问高德开放平台,注册并创建应用。 2. **获取API Key**:记录API Key以备开发使用。 3. **集成SDK**:根据开发平台下载并集成高德地图SDK。 4. **配置功能**:实现定位、导航及基于位置的匹配推荐。 5. **注意事项**:保护用户隐私,确保API Key安全,定期更新地图数据,添加错误处理机制。 6. **测试优化**:完成集成后进行全面测试,并根据反馈优化功能。 通过以上步骤,提升用户体验,提供更便捷的服务。
|
6天前
|
存储 安全 Java
Spring Boot 3 集成Spring AOP实现系统日志记录
本文介绍了如何在Spring Boot 3中集成Spring AOP实现系统日志记录功能。通过定义`SysLog`注解和配置相应的AOP切面,可以在方法执行前后自动记录日志信息,包括操作的开始时间、结束时间、请求参数、返回结果、异常信息等,并将这些信息保存到数据库中。此外,还使用了`ThreadLocal`变量来存储每个线程独立的日志数据,确保线程安全。文中还展示了项目实战中的部分代码片段,以及基于Spring Boot 3 + Vue 3构建的快速开发框架的简介与内置功能列表。此框架结合了当前主流技术栈,提供了用户管理、权限控制、接口文档自动生成等多项实用特性。
36 8
|
11天前
|
人工智能 数据处理 C#
AI Dev Gallery:微软开源 Windows AI 模型本地运行工具包和示例库,助理开发者快速集成 AI 功能
微软推出的AI Dev Gallery,为Windows开发者提供开源AI工具包和示例库,支持本地运行AI模型,提升开发效率。
53 13
|
18天前
|
人工智能 自然语言处理 搜索推荐
Open Notebook:开源 AI 笔记工具,支持多种文件格式,自动转播客和生成总结,集成搜索引擎等功能
Open Notebook 是一款开源的 AI 笔记工具,支持多格式笔记管理,并能自动将笔记转换为博客或播客,适用于学术研究、教育、企业知识管理等多个场景。
83 0
Open Notebook:开源 AI 笔记工具,支持多种文件格式,自动转播客和生成总结,集成搜索引擎等功能
|
2月前
|
缓存 资源调度 JavaScript
Vue集成Excalidraw实现在线画板功能
Excalidraw是一款开源在线绘图工具,适用于白板、思维导图、原型设计等场景。支持手绘风格、多种图形元素、导出功能及多人协作,深受开发者喜爱。本文档介绍了如何在Vue项目中集成Excalidraw,包括安装依赖、配置文件修改、页面添加等步骤,帮助开发者快速上手。
188 0
Vue集成Excalidraw实现在线画板功能
|
2月前
|
传感器 前端开发 Android开发
在 Flutter 开发中,插件开发与集成至关重要,它能扩展应用功能,满足复杂业务需求
在 Flutter 开发中,插件开发与集成至关重要,它能扩展应用功能,满足复杂业务需求。本文深入探讨了插件开发的基本概念、流程、集成方法、常见类型及开发实例,如相机插件的开发步骤,同时强调了版本兼容性、性能优化等注意事项,并展望了插件开发的未来趋势。
49 2
|
2月前
|
SQL 开发框架 .NET
突破T-SQL限制:利用CLR集成扩展RDS SQL Server的功能边界
CLR集成为SQL Server提供了强大的扩展能力,突破了T-SQL的限制,极大地拓展了SQL 的应用场景,如:复杂字符串处理、高性能计算、图像处理、机器学习集成、自定义加密解密等,使开发人员能够利用 .NET Framework的丰富功能来处理复杂的数据库任务。
|
2月前
|
数据采集 监控 Java
go语言编程学习
【11月更文挑战第3天】
47 7
|
2月前
|
设计模式 测试技术 Go
学习Go语言
【10月更文挑战第25天】学习Go语言
32 4
|
2月前
|
JSON Java API
springboot集成ElasticSearch使用completion实现补全功能
springboot集成ElasticSearch使用completion实现补全功能
53 1