Go语言微服务框架 - 3.日志库的选型与引入

简介: 衡量日志库有多个指标,我们今天重点关注两点:简单易用 与 高性能。简单易用是一个日志库能被广泛使用的必要条件,而高性能则是企业级的日志库非常重要的衡量点,也能在源码层面对我们有一定的启发。

日志是一个框架的重要组成部分,那今天我们一起来看看这部分。

衡量日志库有多个指标,我们今天重点关注两点:简单易用高性能。简单易用是一个日志库能被广泛使用的必要条件,而高性能则是企业级的日志库非常重要的衡量点,也能在源码层面对我们有一定的启发。

v0.3.0:日志库的选型与引入

项目链接 https://github.com/Junedayday/micro_web_service/tree/v0.3.0

目标

选择一个开源的日志组件引入,支持常规的日志打印。

关键技术点

  1. 三款开源日志库的横向对比
  2. zap日志库的关键实现
  3. 关于日志参数的解析

目录构造

--- micro_web_service            项目目录
    |-- gen                            从idl文件夹中生成的文件,不可手动修改
       |-- idl                             对应idl文件夹
          |-- demo                             对应idl/demo服务
             |-- demo.pb.go                        demo.proto的基础结构
             |-- demo.pb.gw.go                     demo.proto的HTTP接口,对应gRPC-Gateway
             |-- demo_grpc.pb.go                   demo.proto的gRPC接口代码
    |-- idl                            原始的idl定义
       |-- demo                            业务package定义
          |-- demo.proto                       protobuffer的原始定义
    |-- internal                       项目的内部代码,不对外暴露
       |-- server                          服务器的实现
          |-- demo.go                          server中对demo这个服务的接口实现
          |-- server.go                        server的定义,须实现对应服务的方法
       |-- config                          配置相关的文件夹
          |-- viper.go                         viper的相关加载逻辑
     |-- zlog                            新增:封装日志的文件夹
        |-- zap.go                           新增:zap封装的代码实现
    |-- buf.gen.yaml                   buf生成代码的定义
    |-- buf.yaml                       buf工具安装所需的工具
    |-- gen.sh                         buf生成的shell脚本
    |-- go.mod                         Go Module文件
    |-- main.go                        项目启动的main函数

1.三款开源日志库的横向对比

如果用一次词语分别进行概括三者的特性,我分别会用:glog - 代码极简,logrus - 功能全面, zap - 高性能。经过反复思考,这个框架会选择zap库作为日志引擎的基本组件,主要考量如下:

  1. 高性能 - 性能是一个日志库很重要的属性,它往往由前期的设计决定,很难通过后面的优化大幅度提高,所以zap的高性能很难被替代;
  2. 方便封装 - zap设计简单,容易进行二次封装(glog更简洁,相应地就需要更多的封装代码)
  3. 大厂背书 - zap库被很多大公司引用,作为内部的日志库的底层,再二次开发
  4. 源码学习 - zap库对性能追求极高,可以作为高性能Go语言代码的分析样例

2.zap日志库的关键实现

最简化的调用

zap日志库的调用很简单,只需要两行代码就能实现初始化:

logger, _ := zap.NewProduction()
defer logger.Sync()

但这样的zap代码存在两个明显弊端:

  • 默认输出到控制台上
  • 无法保存到指定目录的文件

核心的日志文件实现

我们增加了一定的特性,代码如下:

var (
    // Logger为zap提供的原始日志,但使用起来比较烦,有强类型约束
    logger *zap.Logger
    // SugaredLogger为zap提供的一个通用性更好的日志组件,作为本项目的核心日志组件
    Sugar *zap.SugaredLogger
)

func Init(logPath string) {
   
    // 日志暂时只开放一个配置 - 配置文件路径,有需要可以后续开放
    hook := lumberjack.Logger{
   
        Filename: logPath,
    }
    w := zapcore.AddSync(&hook)

    encoderConfig := zap.NewProductionEncoderConfig()
    encoderConfig.EncodeTime = zapcore.ISO8601TimeEncoder

    core := zapcore.NewCore(
        zapcore.NewConsoleEncoder(encoderConfig),
        w,
        zap.InfoLevel,
    )

    logger = zap.New(core, zap.AddCaller())
    Sugar = logger.Sugar()
    return
}

// 命名和原生的Zap Log尽量一致,方便理解
func Sync() {
   
    logger.Sync()
}

那我们是如何解决上面两个问题的呢?

  1. 利用go.uber.org/zap/zapcore中的开放配置
  2. 借用了github.com/natefinch/lumberjack这个常用的日志切分库,也顺带实现了日志路径的支持

main函数的调用

var logFilePath = flag.String("l", "log/service.log", "log file path")
flag.Parse()

zlog.Init(*logFilePath)
defer zlog.Sync()

至此,我们的日志功能已经基本打通。

3.关于日志参数的解析

日志参数常见的方式分2种,一个是来自flag的解析,另一个是来自配置文件。

随着我们功能的拓展,日志库肯定会支持越来越复杂的场景。那这个时候用flag解析的扩展性就会很差,所以,我更推荐在微服务的框架中,用配置文件的方式去加载日志的相关配置。但这种方式会带来一个常见的现象:

程序代码的实现为:先加载配置文件,后加载日志,导致配置文件出错时,无法通过日志来排查,需要用控制台或者进程管理工具协助定位问题。

后续,随着框架的迭代,我会开放出更多的日志参数,目前只放出了一个日志路径的参数作为示例。

后续的两点核心需求

至此,我们添加的代码量并不多,也算成功地实现了一个日志打印的功能。但在实际的工程中,日志模块还需要实现两个比较大的功能:

  1. 支持Go程序Panic/Error Wrapping风格的多行打印与采集
  2. 支持分布式TraceId的打印,用来排查微服务调用链路

这两块的内容会结合具体的相关相关技术,会在后续专题中专门分享,请大家重点关注。

总结

zap库的代码是一个很棒的实现,我会在接下来的Go语言技巧系列中详细分析,欢迎大家进行关注。

至此,我们的框架逐渐成型,接下来我将对GORM做一个简单的讲解,引入到框架中。

相关实践学习
通过日志服务实现云资源OSS的安全审计
本实验介绍如何通过日志服务实现云资源OSS的安全审计。
目录
相关文章
|
3月前
|
存储 监控 算法
防止员工泄密软件中文件访问日志管理的 Go 语言 B + 树算法
B+树凭借高效范围查询与稳定插入删除性能,为防止员工泄密软件提供高响应、可追溯的日志管理方案,显著提升海量文件操作日志的存储与检索效率。
136 2
|
3月前
|
存储 安全 Java
【Golang】(4)Go里面的指针如何?函数与方法怎么不一样?带你了解Go不同于其他高级语言的语法
结构体可以存储一组不同类型的数据,是一种符合类型。Go抛弃了类与继承,同时也抛弃了构造方法,刻意弱化了面向对象的功能,Go并非是一个传统OOP的语言,但是Go依旧有着OOP的影子,通过结构体和方法也可以模拟出一个类。
258 1
|
5月前
|
Cloud Native Go API
Go:为云原生而生的高效语言
Go:为云原生而生的高效语言
436 0
|
5月前
|
Cloud Native Java Go
Go:为云原生而生的高效语言
Go:为云原生而生的高效语言
295 0
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
4092 31
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
8月前
|
监控 容灾 算法
阿里云 SLS 多云日志接入最佳实践:链路、成本与高可用性优化
本文探讨了如何高效、经济且可靠地将海外应用与基础设施日志统一采集至阿里云日志服务(SLS),解决全球化业务扩展中的关键挑战。重点介绍了高性能日志采集Agent(iLogtail/LoongCollector)在海外场景的应用,推荐使用LoongCollector以获得更优的稳定性和网络容错能力。同时分析了多种网络接入方案,包括公网直连、全球加速优化、阿里云内网及专线/CEN/VPN接入等,并提供了成本优化策略和多目标发送配置指导,帮助企业构建稳定、低成本、高可用的全球日志系统。
904 54
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
410 9
|
11月前
|
存储 SQL 关系型数据库
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log、原理、写入过程;binlog与redolog区别、update语句的执行流程、两阶段提交、主从复制、三种日志的使用场景;查询日志、慢查询日志、错误日志等其他几类日志
892 35
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
|
11月前
|
存储 缓存 关系型数据库
图解MySQL【日志】——Redo Log
Redo Log(重做日志)是数据库中用于记录数据页修改的物理日志,确保事务的持久性和一致性。其主要作用包括崩溃恢复、提高性能和保证事务一致性。Redo Log 通过先写日志的方式,在内存中缓存修改操作,并在适当时候刷入磁盘,减少随机写入带来的性能损耗。WAL(Write-Ahead Logging)技术的核心思想是先将修改操作记录到日志文件中,再择机写入磁盘,从而实现高效且安全的数据持久化。Redo Log 的持久化过程涉及 Redo Log Buffer 和不同刷盘时机的控制参数(如 `innodb_flush_log_at_trx_commit`),以平衡性能与数据安全性。
577 5
图解MySQL【日志】——Redo Log

热门文章

最新文章