实现日志收集服务的客户端
前言
从这篇文章开始我们就正式进入了日志收集系统的编写，后面几篇文章我们将学习到如何编写日志收集服务的客户端,话不多说,让我们进入今天的内容吧！
需要实现的功能
我们要收集指定目录下的日志文件，将它们发送到Kafka中
实现的步骤
- 读取配置文件,寻找日志路径
- 初始化服务
- 根据日志路径去利用tail来收集日志
- 将收集到的日志利用sarama发送到Kafka中
读取配置文件
go-ini包
go-ini包的安装
包的地址为"github.com/go-ini/ini",安装可以基于go mod来使用go mod tidy或者go get github.com/go-ini/ini来进行安装- 包的使用
由于篇幅有限,这里对于包的实现不做过多赘述,可以参考矿方文档，文档里面作者将该包的使用方法讲解的非常好，博主这里就不班门弄斧了，官方文档的地址如
下:
超赞的 Go 语言 INI 文件操作 - 代码示例:
首先我们定义一个config.ini的配置文件，如下:
[kafka] address=127.0.0.1:9092
然后我们尝试提取出Kafka的address:
package main import ( "fmt" "github.com/go-ini/ini" "github.com/sirupsen/logrus" ) func main() { cfg, err := ini.Load("G:\\goproject\\-goroutine-\\log-agent\\conf\\config.ini")//读取配置文件 if err != nil { logrus.Error("load config.ini error!,err:", err) //日志中打印错误信息 } fmt.Println(cfg.Section("kafka").Key("address").String()) }
输出结果为:
当然我们还可以将配置文件的配置有谁到结构体中,首先还是我们的配置文件:
[kafka] address=127.0.0.1:9092 [collect] logfile_path:G:\goproject\-goroutine-\log-agent\log\log1
示例代码:
package main import ( "fmt" "github.com/go-ini/ini" ) type Config struct { Kafakaddress Kafkaddress `ini:"kafka"` LogFilePath LogFilePath `ini:"collect"` } type Kafkaddress struct { Addr string `ini:"address""` } type LogFilePath struct { Path string `ini:"logfile_path"` } func main() { var configObj = new(Config) //生成指针便于参数传递 err := ini.MapTo(configObj, "G:\\goproject\\-goroutine-\\log-agent\\conf\\config.ini") if err != nil { fmt.Println("log config failed,err:", err) } fmt.Println(configObj.LogFilePath, configObj.Kafakaddress) }
输出结果为:
结语
对读取配置文件就讲到这里了。下一篇文章我们就开始探寻如何初始化Kafka和tail的服务,以及介绍什么是etcd，以及它在项目中所起到的作用,下篇见！
