Go 项目配置文件的定义和读取

前言

我们在写应用时，基本都会用到配置文件，从各种 shell 到 nginx 等，都有自己的配置文件。虽然这没有太多难度，但是配置项一般相对比较繁杂，解析、校验也会比较麻烦。本文就给大家讲讲我们是怎么简化配置文件的定义和解析的。

场景

如果我们要写一个 Restful API 的服务，配置项大概有如下内容：

• Host，侦听的 IP，如果不填，默认用 0.0.0.0
• Port，侦听的端口，必填，只能是数字，大于等于80，小于65535
• LogMode，日志模式，只能选 file 或者 console
• Verbose，看是否输出详细日志，可选，默认为 false
• MaxConns，允许的最大并发连接数，默认 10000
• Timeout，超时设置，默认 3s
• CpuThreshold，设置 CPU 使用率触发系统降载的阈值，默认 900，1000m 表示 100%

之前我们用 json 做配置文件，但是 json 有个问题，无法加注释，所以我们后来切换到了 yaml 格式。

接下来让我们看看借助 go-zero 怎么来方便的的定义和解析这样的配置文件～

定义配置

首先，我们需要将上述配置需求定义到 Go 结构体里，如下：

RestfulConf struct {
    Host         string        `json:",default=0.0.0.0"`
    Port         int           `json:",range=[80,65535)"`
    LogMode      string        `json:",options=[file,console]"`
    Verbose      bool          `json:",optional"`
    MaxConns     int           `json:",default=10000"`
    Timeout      time.Duration `json:",default=3s"`
    CpuThreshold int64         `json:",default=900,range=[0:1000]"`
}

可以看到，我们对每个配置项都有一定的定义和限制，其中一些定义如下：

• default，配置没填的话，使用该默认值，可以看到其中的 3s 会自动解析成 time.Duration 类型
• optional，此项可以不配置，没有的话，用类型零值
• range，限定数字类型，需要在给定的范围内
• options，限制配置的值只能是给出的这几个之一

并且，一些属性可以叠加使用，比如：

• default 和 range 一起使用，就可以既增加了范围限制，又提供了默认值
• default 和 options 一起使用，就可以既增加了可选项限制，又提供了默认值

配置文件

因为我们在定义配置的时候，给了很多的默认值，还有使用 optional 指定为可选，所以我们的配置文件里的配置项就相对比较少了，能用默认值的就不用写了，如下：

# 因为很多都有默认值，所以只需要写需要指定值和没有默认值的
Port: 8080
LogMode: console
# 可以读取环境变量的值
MaxBytes: ${MAX_BYTES}

这里有个注意点，如果配置项的 value 全部是数字，而你定义的配置类型是 string，比如有人测试密码经常用 123456，但是密码一般会定义为 string，配置就要写成如下（只是举个例子哈，密码一般不建议裸写到配置文件里）：

Password: "123456"

这里的双引号不能少，少了会报 type mismatch 之类的错误，因为 yaml 解析器会把不带双引号的 123456 解析成 int。

加载配置文件

我们有了配置定义（config.go）和配置文件（config.yaml），接下来就是加载配置文件了，加载配置文件有三种方式：

• 必须加载成功，否则程序退出，我们一般这么用，如果配置不对，程序就无法继续了

// 有错误直接退出程序
var config RestfulConf
conf.MustLoad("config.yaml", &config)

go-zero 自带的 goctl 生成的默认代码也是使用 MustLoad 来加载配置文件的

• 加载配置，并自行判断是否有 error

// 自己判断并处理 error
var config RestfulConf
// 为了更简洁，这里的 LoadConfig 后续会改为 Load，LoadConfig 已被标记为 Deprecated
if err := conf.LoadConfig("config.yaml", &config); err != nil {
    log.Fatal(err)
}

• 加载配置并读取环境变量

// 自动读取环境变量
var config RestfulConf
conf.MustLoad(configFile, &config, conf.UseEnv())

这里为啥我们需要显式指定 conf.UseEnv()，因为如果默认读取的话，可能在配置里大家写特定字符的时候就需要 escape 了，所以默认不读取环境变量，这个设计也欢迎大家多提提建议哈

实现原理

我们在实现类似 yaml/json 解析的时候一般会直接使用 encoding/json 或者对应的 yaml 库，但是对于 go-zero 来说，我们需要在 unmarshal 的时候有更精确的控制，这就需要我们自己定制 yaml/json 的解析了，完整的代码实现在：

配置文件代码：https://github.com/zeromicro/go-zero/tree/master/core/conf

yaml/json 解析代码：https://github.com/zeromicro/go-zero/tree/master/core/mapping

这里也充分展示了 reflect 的用法，以及复杂场景下如何通过单元测试保证代码的正确性。

总结

我一直比较推荐 Fail Fast 的思想，我们在加载配置文件的时候也是这样，一旦有错误，立马退出，这样运维在部署服务时就会及时发现问题，因为进程压根起不来。

go-zero 的所有服务的配置项都是通过这样的方式来加载和自动验证的，包括我写的很多工具的配置也是基于此来实现的，希望能对你有所帮助！

项目地址

https://github.com/zeromicro/go-zero