go语言后端开发学习(四) —— 在go项目中使用Zap日志库

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 本文详细介绍了如何在Go项目中集成并配置Zap日志库。首先通过`go get -u go.uber.org/zap`命令安装Zap,接着展示了`Logger`与`Sugared Logger`两种日志记录器的基本用法。随后深入探讨了Zap的高级配置,包括如何将日志输出至文件、调整时间格式、记录调用者信息以及日志分割等。最后,文章演示了如何在gin框架中集成Zap,通过自定义中间件实现了日志记录和异常恢复功能。通过这些步骤,读者可以掌握Zap在实际项目中的应用与定制方法

一.前言

在之前的文章中我们已经介绍过如何使用logrus包来作为我们在gin框架中使用的日志中间件,而今天我们要介绍的就是我们如何在go项目中如何集成Zap来作为日志中间件

二.Zap的安装与快速使用

和安装其他第三方包没什么区别,我们下载Zap包只需要执行以下命令

go get -u go.uber.org/zap

在Zap的矿方说明中,给出了两种类型的日志记录器——LoggerSugared Logger,在不同场景下我们可以选择使用不同的日志记录器:

Logger:性能比较好,但是仅支持强类型输出的日志,适合在每一微秒和每一次内存分配都很重要的上下文中,使用Logger
Sugared Logger:它支持结构化和printf风格的日志记录。适合在性能很好但不是很关键的上下文中,使用SugaredLogger

接下来我将用两个简单的demo来展示一下我们如何使用这两种日志记录器:

//Logger
package main

import (
    "go.uber.org/zap"
    "net/http"
)

var logger *zap.Logger

func main() {
   
   
    InitLogger()
    defer logger.Sync() //等到全部日志写入,将缓冲区中的日志写入磁盘
    SimpleHttpGet("www.baidu.com") //这行代码会报错,仅做展示错误日志信息的打印
    SimpleHttpGet("https://www.kugou.com")
}

func InitLogger() {
   
   
    logger, _ = zap.NewProduction()
}

func SimpleHttpGet(url string) {
   
   
    re, err := http.Get(url)
    if err != nil {
   
   
        logger.Error("Error fetching url", zap.String("url", url), zap.Error(err))
    } else {
   
   
        logger.Info("Success fetching url", zap.String("statusCode", re.Status), zap.String("url", url))
    }
    re.Body.Close()
}

//SugarLogger
package main

import (
    "go.uber.org/zap"
    "net/http"
)

var sugarlogger *zap.SugaredLogger

func main() {
   
   
    InitLogger()
    defer sugarlogger.Sync() //等到全部日志写入,将缓冲区中的日志写入磁盘
    SimpleHttpGet("www.baidu.com")
    SimpleHttpGet("https://www.kugou.com")
}

func InitLogger() {
   
   
    logger, _ := zap.NewProduction() 
    sugarlogger = logger.Sugar()
}

func SimpleHttpGet(url string) {
   
   
    re, err := http.Get(url)
    if err != nil {
   
   
        sugarlogger.Error("Error fetching url", zap.String("url", url), zap.Error(err))
    } else {
   
   
        sugarlogger.Info("Success fetching url", zap.String("statusCode", re.Status), zap.String("url", url))
    }
    re.Body.Close()
}

三.Zap的配置

Zap的使用其实是比较简单的,但是如何去配置出一个适合我们自己项目的日志中间件其实也是比较困难,下面博主将一步步的实现的一个简单的日志中间件示例,下面开始吧!

1.让日志输入到文件中

在我们日常开发模式时,我们一般会将日志的错误信息打印在控制台上,这样可以方便我们去调试错误,但是在生产模式下,让错误信息打印在控制台上无疑是不大可能得了,我们一般会选择将日志信息录入到文件中,接下来让我们来尝试一下修改日志信息的输入路径。

为了修改日志信息的输出路径,我们这里就不会在通过NewProduction来自动创建logger对象了,而是我们自己通过New这一函数来手动传递配置了,在开始之前我们来看一下New这一函数:

func New(core zapcore.Core, options ...Option)

而这里我们所要配置的就是corezapcore.Core需要三个配置:

  • Encoder:它决定了我们以何种形式写入日志,比如我们可以使用Json格式来作为我们书写日志的格式
  • WriteSyncer:它决定了我们要将日志写到什么地方去
  • LogLevel:它决定了哪些级别的日志会被写入到日志文件中去

接下来我们尝试将日志打印在test.log中,并且用Jsontext两种格式来打印到文件中:

package main

import (
    "go.uber.org/zap"
    "go.uber.org/zap/zapcore"
    "net/http"
    "os"
)

var sugarlogger *zap.SugaredLogger

func main() {
   
   
    InitLogger()
    defer sugarlogger.Sync() //等到全部日志写入,将缓冲区中的日志写入磁盘
    SimpleHttpGet("www.baidu.com")
    SimpleHttpGet("https://www.kugou.com")
}

func InitLogger() {
   
   
    encoder := InitEncoder()
    level := InitLevel()
    writer := InitWriter()
    core := zapcore.NewCore(encoder, writer, level)
    sugarlogger = zap.New(core).Sugar()
}

func InitEncoder() zapcore.Encoder {
   
   
    return zapcore.NewJSONEncoder(zap.NewProductionEncoderConfig())
}

func InitWriter() zapcore.WriteSyncer {
   
   
    file, _ := os.Create("G:\\bluebell\\src\\demo\\log\\test.log")
    return zapcore.AddSync(file)
}

func InitLevel() zapcore.Level {
   
   
    return zapcore.ErrorLevel
}
func SimpleHttpGet(url string) {
   
   
    re, err := http.Get(url)
    if err != nil {
   
   
        sugarlogger.Error("Error fetching url", zap.String("url", url), zap.Error(err))
    } else {
   
   
        sugarlogger.Info("Success fetching url", zap.String("statusCode", re.Status), zap.String("url", url))
    }
    re.Body.Close()
}

运行结果如下:
在这里插入图片描述
我们可以看到文件已经输入到json.log中了。

当然我们也可以使用正常的text格式

package main

import (
    "go.uber.org/zap"
    "go.uber.org/zap/zapcore"
    "net/http"
    "os"
)

var sugarlogger *zap.SugaredLogger

func main() {
   
   
    InitLogger()
    defer sugarlogger.Sync() //等到全部日志写入,将缓冲区中的日志写入磁盘
    SimpleHttpGet("www.baidu.com")
    SimpleHttpGet("https://www.kugou.com")
}

func InitLogger() {
   
   
    encoder := InitEncoder()
    level := InitLevel()
    writer := InitWriter()
    core := zapcore.NewCore(encoder, writer, level)
    sugarlogger = zap.New(core).Sugar()
}

func InitEncoder() zapcore.Encoder {
   
   
    return zapcore.NewConsoleEncoder(zap.NewProductionEncoderConfig())
}

func InitWriter() zapcore.WriteSyncer {
   
   
    file, _ := os.Create("G:\\bluebell\\src\\demo\\log\\text.log")
    return zapcore.AddSync(file)
}

func InitLevel() zapcore.Level {
   
   
    return zapcore.ErrorLevel
}
func SimpleHttpGet(url string) {
   
   
    re, err := http.Get(url)
    if err != nil {
   
   
        sugarlogger.Error("Error fetching url", zap.String("url", url), zap.Error(err))
    } else {
   
   
        sugarlogger.Info("Success fetching url", zap.String("statusCode", re.Status), zap.String("url", url))
    }
    re.Body.Close()
}

运行结果:
在这里插入图片描述

2.修改时间编码,将调用函数信息记录在日志中

在上面日志输出中我们可以看到两个比较大的问题:

  • 时间是以非人类可读的方式展示,像1.7233697314262748e+09这样
  • 日志没有调用方的信息我们很难确定错误的位置

所以我们现在要做的就是以下修改:

  • 修改时间编码器
  • 让日志文件中存在调用者信息

首先是修改时间编码器:

func InitEncoder() zapcore.Encoder {
   
   
    encoderConfig := zap.NewProductionEncoderConfig()
    encoderConfig.EncodeTime = zapcore.ISO8601TimeEncoder
    encoderConfig.EncodeLevel = zapcore.CapitalLevelEncoder //在日志文件中使用大写字母记录日志级别
    return zapcore.NewConsoleEncoder(encoderConfig)
}

运行结果如下:

2024-08-11T18:14:02.328+0800    INFO    Success fetching url{statusCode 15 0 403 Forbidden <nil>} {url 15 0 https://www.kugou.com <nil>}

最后我们添加将调用函数信息记录到日志中的功能,这里我们需要修改一下代码:

func InitLogger() {
   
   
    encoder := InitEncoder()
    level := InitLevel()
    writer := InitWriter()
    core := zapcore.NewCore(encoder, writer, level)
    sugarlogger = zap.New(core,zap.AddCaller()).Sugar()
}

这样我们就能看到调用信息了:

 2024-08-11T19:00:52.831+0800    INFO    main/main.go:47    Success fetching url{statusCode 15 0 403 Forbidden <nil>} {url 15 0 https://www.kugou.com <nil>}

拓展:AddCallerSkip
在日志记录过程中,我们通常希望在日志消息中包含准确的调用信息(即,记录日志的代码行)。例如,如果你在 main.go 文件的第 10 行调用了 logger.Info("Message"),你希望日志记录显示调用发生在 main.go:10。
但是,如果你将日志记录封装到另一个函数中,例如:

func logInfo(msg string) {
   
   
    logger.Info(msg)
}

这样返回的值就不是准确的日志记录问题了,因为日志记录的调用栈就会增加一层,因为实际上 logger.Info 是由logInfo 函数调用的。如果不调整调用栈深度,日志中可能会显示 logInfo 函数的调用位置,而不是实际的日志记录位置。

AddCallerSkip 函数用于调整日志记录库中记录调用信息的调用栈深度。它可以让你指定跳过多少层调用栈,从而准确获取实际的日志记录位置。

所以我们最后的InitLogger函数是这样的:

func InitLogger() {
   
   
    encoder := InitEncoder()
    level := InitLevel()
    writer := InitWriter()
    core := zapcore.NewCore(encoder, writer, level)
    sugarlogger = zap.New(core, zap.AddCaller(),zap.AddCallerSkip(1)).Sugar()
}

3.如何将日志输出到多个位置或将特定级别日志输入到单独文件

  • 将日志输出到多个位置
    func InitWriter() zapcore.WriteSyncer {
         
         
      file, _ := os.Create("G:\\bluebell\\src\\demo\\log\\text.log")
      os := io.MultiWriter(os.Stdout, file)  //既输入到控制台也输入到日志文件中
      return zapcore.AddSync(os)
    }
    
  • 将特定级别日志输入到单独文件(以error为例)
    func InitLogger() {
         
         
      encoder := InitEncoder()
      level := InitLevel()
      writer := InitWriter()
      c1 := zapcore.NewCore(encoder, writer, level) //记录全部日志
      errF, _ := os.Create("G:\\bluebell\\src\\demo\\log\\err.log")
      c2 := zapcore.NewCore(encoder, zapcore.AddSync(errF), zap.ErrorLevel) //记录错误日志
      core := zapcore.NewTee(c1, c2)                                        // tee将日志输出到多个目的地
      sugarlogger = zap.New(core, zap.AddCaller(), zap.AddCallerSkip(1)).Sugar()
    }
    

以上完整代码如下:

package main

import (
    "go.uber.org/zap"
    "go.uber.org/zap/zapcore"
    "io"
    "net/http"
    "os"
)

var sugarlogger *zap.SugaredLogger

func main() {
   
   
    InitLogger()
    defer sugarlogger.Sync() //等到全部日志写入,将缓冲区中的日志写入磁盘
    SimpleHttpGet("https://www.kugou.com")
    SimpleHttpGet("www.baidu.com")
}

func InitLogger() {
   
   
    encoder := InitEncoder()
    level := InitLevel()
    writer := InitWriter()
    c1 := zapcore.NewCore(encoder, writer, level) //记录全部日志
    errF, _ := os.Create("G:\\bluebell\\src\\demo\\log\\err.log")
    c2 := zapcore.NewCore(encoder, zapcore.AddSync(errF), zap.ErrorLevel) //记录错误日志
    core := zapcore.NewTee(c1, c2)                                        // tee将日志输出到多个目的地
    sugarlogger = zap.New(core, zap.AddCaller(), zap.AddCallerSkip(1)).Sugar()
}

func InitEncoder() zapcore.Encoder {
   
   
    encoderConfig := zap.NewProductionEncoderConfig()
    encoderConfig.EncodeTime = zapcore.ISO8601TimeEncoder
    encoderConfig.EncodeLevel = zapcore.CapitalLevelEncoder //在日志文件中使用大写字母记录日志级别
    return zapcore.NewConsoleEncoder(encoderConfig)
}

func InitWriter() zapcore.WriteSyncer {
   
   
    file, _ := os.Create("G:\\bluebell\\src\\demo\\log\\text.log")
    os := io.MultiWriter(os.Stdout, file)
    return zapcore.AddSync(os)
}

func InitLevel() zapcore.Level {
   
   
    return zapcore.DebugLevel
}
func SimpleHttpGet(url string) {
   
   
    re, err := http.Get(url)
    if err != nil {
   
   
        sugarlogger.Error("Error fetching url", zap.String("url", url), zap.Error(err))
    } else {
   
   
        sugarlogger.Info("Success fetching url", zap.String("statusCode", re.Status), zap.String("url", url))
    }
    re.Body.Close()
}

四.Zap实现日志分割

日志切割可以使用Lumberjack这一第三方包,可以按照下面这个命令下载:

go get gopkg.in/natefinch/lumberjack.v2

最后我们来开一下怎么加入支持:

func InitWriter() zapcore.WriteSyncer {
   
   
    lumberjackLogger := &lumberjack.Logger{
   
   
        Filename:   "G:\\bluebell\\src\\demo\\log\\app.log", //日志文件路径
        MaxSize:    1,                                       //每个日志文件保存的最大尺寸 单位:MB
        MaxBackups: 5,                                       //最多保存多少个日志文件
        MaxAge:     30,                                      //日志文件最多保存多少天
        Compress:   false,                                   //是否压缩
    }
    return zapcore.AddSync(lumberjackLogger)
}

这样就实现了一个简单的日志分割了。

五.在gin框架中集成Zap日志库

在很早之前博主就写过gin.Default会调用Logger(), Recovery()这两个中间件,,所我们想在gin框架中集成Zap日志库只需要重写一下这两个中间件就可以了:

func GinLogger() gin.HandlerFunc {
   
   
    return func(c *gin.Context) {
   
   
        start := time.Now()
        path := c.Request.URL.Path
        query := c.Request.URL.RawQuery
        c.Next()
        cost := time.Since(start)
        logger.Info(path,
            zap.Int("status", c.Writer.Status()),
            zap.String("method", c.Request.Method),
            zap.String("path", path),
            zap.String("query", query),
            zap.String("ip", c.ClientIP()),
            zap.String("user-agent", c.Request.UserAgent()),
            zap.String("errors", c.Errors.ByType(gin.ErrorTypePrivate).String()),
            zap.Duration("cost", cost),
        )
    }
}

// GinRecovery recover掉项目可能出现的panic
func GinRecovery(stack bool) gin.HandlerFunc {
   
   
    return func(c *gin.Context) {
   
   
        defer func() {
   
   
            if err := recover(); err != nil {
   
   
                // Check for a broken connection, as it is not really a
                // condition that warrants a panic stack trace.
                var brokenPipe bool
                if ne, ok := err.(*net.OpError); ok {
   
   
                    if se, ok := ne.Err.(*os.SyscallError); ok {
   
   
                        if strings.Contains(strings.ToLower(se.Error()), "broken pipe") || strings.Contains(strings.ToLower(se.Error()), "connection reset by peer") {
   
   
                            brokenPipe = true
                        }
                    }
                }

                httpRequest, _ := httputil.DumpRequest(c.Request, false)
                if brokenPipe {
   
   
                    logger.Error(c.Request.URL.Path,
                        zap.Any("error", err),
                        zap.String("request", string(httpRequest)),
                    )
                    // If the connection is dead, we can't write a status to it.
                    c.Error(err.(error)) // nolint: err check
                    c.Abort()
                    return
                }

                if stack {
   
   
                    logger.Error("[Recovery from panic]",
                        zap.Any("error", err),
                        zap.String("request", string(httpRequest)),
                        zap.String("stack", string(debug.Stack())),
                    )
                } else {
   
   
                    logger.Error("[Recovery from panic]",
                        zap.Any("error", err),
                        zap.String("request", string(httpRequest)),
                    )
                }
                c.AbortWithStatus(http.StatusInternalServerError)
            }
        }()
        c.Next()
    }
}

最后得到的就是我们的最终log文件代码:

package main

import (
    "github.com/gin-gonic/gin"
    "go.uber.org/zap"
    "go.uber.org/zap/zapcore"
    "gopkg.in/natefinch/lumberjack.v2"
    "net"
    "net/http"
    "net/http/httputil"
    "os"
    "runtime/debug"
    "strings"
    "time"
)

var logger *zap.Logger

func main() {
   
   
    r := gin.New()
    r.Use(GinLogger(), GinRecovery(true))
}

func GinLogger() gin.HandlerFunc {
   
   
    return func(c *gin.Context) {
   
   
        start := time.Now()
        path := c.Request.URL.Path
        query := c.Request.URL.RawQuery
        c.Next()
        cost := time.Since(start)
        logger.Info(path,
            zap.Int("status", c.Writer.Status()),
            zap.String("method", c.Request.Method),
            zap.String("path", path),
            zap.String("query", query),
            zap.String("ip", c.ClientIP()),
            zap.String("user-agent", c.Request.UserAgent()),
            zap.String("errors", c.Errors.ByType(gin.ErrorTypePrivate).String()),
            zap.Duration("cost", cost),
        )
    }
}

// GinRecovery recover掉项目可能出现的panic
func GinRecovery(stack bool) gin.HandlerFunc {
   
   
    return func(c *gin.Context) {
   
   
        defer func() {
   
   
            if err := recover(); err != nil {
   
   
                // Check for a broken connection, as it is not really a
                // condition that warrants a panic stack trace.
                var brokenPipe bool
                if ne, ok := err.(*net.OpError); ok {
   
   
                    if se, ok := ne.Err.(*os.SyscallError); ok {
   
   
                        if strings.Contains(strings.ToLower(se.Error()), "broken pipe") || strings.Contains(strings.ToLower(se.Error()), "connection reset by peer") {
   
   
                            brokenPipe = true
                        }
                    }
                }

                httpRequest, _ := httputil.DumpRequest(c.Request, false)
                if brokenPipe {
   
   
                    logger.Error(c.Request.URL.Path,
                        zap.Any("error", err),
                        zap.String("request", string(httpRequest)),
                    )
                    // If the connection is dead, we can't write a status to it.
                    c.Error(err.(error)) // nolint: err check
                    c.Abort()
                    return
                }

                if stack {
   
   
                    logger.Error("[Recovery from panic]",
                        zap.Any("error", err),
                        zap.String("request", string(httpRequest)),
                        zap.String("stack", string(debug.Stack())),
                    )
                } else {
   
   
                    logger.Error("[Recovery from panic]",
                        zap.Any("error", err),
                        zap.String("request", string(httpRequest)),
                    )
                }
                c.AbortWithStatus(http.StatusInternalServerError)
            }
        }()
        c.Next()
    }
}

func InitLogger() {
   
   
    encoder := InitEncoder()
    level := InitLevel()
    writer := InitWriter()
    c1 := zapcore.NewCore(encoder, writer, level) //记录全部日志
    errF, _ := os.Create("G:\\bluebell\\src\\demo\\log\\err.log")
    c2 := zapcore.NewCore(encoder, zapcore.AddSync(errF), zap.ErrorLevel) //记录错误日志
    core := zapcore.NewTee(c1, c2)                                        // tee将日志输出到多个目的地
    logger = zap.New(core, zap.AddCaller(), zap.AddCallerSkip(1))
}

func InitEncoder() zapcore.Encoder {
   
   
    encoderConfig := zap.NewProductionEncoderConfig()
    encoderConfig.EncodeTime = zapcore.ISO8601TimeEncoder
    encoderConfig.EncodeLevel = zapcore.CapitalLevelEncoder //在日志文件中使用大写字母记录日志级别
    return zapcore.NewConsoleEncoder(encoderConfig)
}

func InitWriter() zapcore.WriteSyncer {
   
   
    lumberjackLogger := &lumberjack.Logger{
   
   
        Filename:   "G:\\bluebell\\src\\demo\\log\\app.log", //日志文件路径
        MaxSize:    1,                                       //每个日志文件保存的最大尺寸 单位:MB
        MaxBackups: 5,                                       //最多保存多少个日志文件
        MaxAge:     30,                                      //日志文件最多保存多少天
        Compress:   false,                                   //是否压缩
    }
    return zapcore.AddSync(lumberjackLogger)
}

func InitLevel() zapcore.Level {
   
   
    return zapcore.DebugLevel
}
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
1天前
|
XML JSON 缓存
探索后端开发中的RESTful API设计原则
【9月更文挑战第5天】在数字化时代的浪潮中,后端开发扮演着支撑整个互联网世界运行的基石角色。而作为连接前端与后端桥梁的RESTful API,其设计质量直接影响到应用的性能和用户体验。本文将深入探讨RESTful API的设计原则,通过浅显易懂的语言和实际代码示例,引导读者理解如何构建高效、易于维护的API。无论你是初学者还是有经验的开发者,这篇文章都将为你提供新的视角和思考。
|
2天前
|
JavaScript API 数据库
深入理解Node.js事件循环及其在后端开发中的应用
【9月更文挑战第3天】本文将深入浅出地介绍Node.js的事件循环机制,探讨其非阻塞I/O模型和如何在后端开发中利用这一特性来处理高并发请求。通过实际的代码示例,我们将看到如何有效地使用异步操作来优化应用性能。文章旨在为读者揭示Node.js在后端开发中的核心优势和应用场景,帮助开发者更好地理解和运用事件循环来构建高性能的后端服务。
|
3天前
|
Web App开发 JavaScript 前端开发
深入浅出Node.js后端开发
【9月更文挑战第3天】本文将带你走进Node.js的世界,通过深入浅出的方式,让你了解Node.js的基本概念、特性以及如何在后端开发中应用。我们将从Node.js的安装开始,逐步深入到异步编程模型、事件驱动机制等核心概念,最后通过一个简单的Web服务器示例,让你对Node.js有一个全面的认识。无论你是前端开发者还是后端开发者,只要你对Node.js感兴趣,这篇文章都将为你打开一扇新的大门。
|
4天前
|
存储 关系型数据库 API
后端开发的艺术:从代码到云部署
在数字时代的浪潮中,后端开发如同一位默默无闻的艺术家,用代码绘制着互联网世界的底层画卷。本文将带你领略后端开发的奥秘,从基础的代码编写到复杂的云部署,每一步都是对技术深度与广度的挑战。我们将一起探索如何在变化莫测的技术海洋中找到自己的北极星,确保项目的成功和职业生涯的发展。无论你是初学者还是资深开发者,这篇文章都将为你提供新的视角和实用的技巧,让你的后端之旅更加精彩。
|
JSON 前端开发 Java
Go语学习笔记 - 项目规范结构调整 | Web框架Gin(三)
Go语学习笔记 - 项目规范结构调整 | Web框架Gin(三)
Go语学习笔记 - 项目规范结构调整 | Web框架Gin(三)
|
NoSQL 关系型数据库 MySQL
【Go实战 | 电商平台】(2) 项目结构及配置文件初始化
文章目录 1. 必备环境与推荐软件 1.1 必备环境 1.2 推荐软件 2. 项目初始化 3. 配置文件初始化 3.1 config.ini 3.2 conf.go 3.3 main函数
180 0
【Go实战 | 电商平台】(2) 项目结构及配置文件初始化
【Go开源宝藏】Go-Doc 自动生成项目结构目录
目录 写在前面 1. 下载 2. 运行 3. 查看
158 0
【Go开源宝藏】Go-Doc 自动生成项目结构目录
golang项目结构
一、概述   golang更新了环境变量,导致整个goproject的结构改变: 1 [root@node175 goproject]# tree -L 2 2 . 3 ├── bin 4 │   └── demo 5 ├── pkg 6 │   └── linux_amd64 7 ...
1459 0
下一篇
DDNS