开源日志管理系统Graylog之Sidecar功能实践

简介: 开源日志管理系统Graylog之Sidecar功能实践

640.jpg

在之前搭建完GrayLog的基础上(参考之前的文章CentOS7下部署Graylog开源日志管理系统)


参考GrayLog官方帮助文档中关于sidecar的详细介绍动手实践验证sidecar日志采集功能

https://docs.graylog.org/en/3.3/pages/sidecar.html 

下面为详细步骤:点击图片查看清晰大图


1、添加Beats类型的Input


3769777f16075129e7d14816ff6327c7.png047d4e7f04c30b3ec61cc7c74d9c2737.png48cb8116d0bde46709022ed54284868a.png


2、创建graylog-sidecar的token


d78ab74697fc042bff6b32f0d0729d2b.pngf504c75ac5dc1396b7b7def30c62658b.png


3、先在Linux主机上安装sidecar客户端和filebeat


两种方式:

1)安装Graylog Sidecar存储库配置后yum install graylog-sidecar


rpm -Uvh https://packages.graylog2.org/repo/packages/graylog-sidecar-repository-1-2.noarch.rpm
yum install graylog-sidecar


2)rpm -ivh 方式本地安装

https://github.com/Graylog2/collector-sidecar/releases 

这里下载sidecar的x86_64位版本的rpm包(同时也把windows版本也下载下来,后面介绍)

2aeaad30d4c575d23a273b504aba2ee3.png

filebeat最新的安装包

https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.8.0-x86_64.rpm


rpm -ivh graylog-sidecar-1.0.2-1.x86_64.rpm 
rpm -ivh filebeat-7.8.0-x86_64.rpm

ace1f28f2db6c9514d4ab11e733c5e83.png

并修改配置文件


vi /etc/graylog/sidecar/sidecar.yml
1)#server_url: "http://127.0.0.1:9000/api/"
修改为http://192.168.31.80:9000/api/
2)server_api_token: "bavcp8u7sanaottr2lllg2ebogsn6brfgnifa76vm3ec8n64k50"
3)#node_name: ""改为node_name: "192.168.31.194_CentOS7"
4)取消#update_interval: 10的注释update_interval: 10
5)取消#send_status: true 的注释send_status: true
graylog-sidecar -service install
systemctl start graylog-sidecar


88fff79eaeb03dc9e9e1233ce609f975.pngf714cb3af77372a28efe0b5366f728e3.png

这时在sidecar总览界面看到192.168.31.194在线

83adcd3e57a7e79c20804f01542e025f.png

4、配置采集规则


1)Sidecars Overview界面点击Configuration按钮

1945e0e0d3800cc47feec31dbf2cb387.png

2)点击Create Configuration创建配置

f7bb52c37d65d0a25066f98c30590b2c.png

Name自定义为CentOS7_collector_cfg

Configuration color挑选一个颜色

Collector选择为filebeat on Linux类型

Configuration配置文件修改

例如 paths: - /opt/nginx/*.log 也就是采集/opt/nginx/目录下.log结尾的日志

output.logstash: hosts: ["192.168.31.80:5044"] 发给192.168.31.80的5044端口,也就是之前创建的beats 5044接收端口

81907de0f0a878e7e1516009b7fd3794.png

最后配置好之后,点Create保存配置


219537adf61c67f30b3d478b7ed5dc74.png

5、下发配置文件


先回到Sidecars Overview界面,点击Administration管理按钮,进行配置下发

06b525570cd753ce25e98a41e1c202c8.png

fc902c34f011e462b71c485d5903facb.png

6、验证日志采集是否生效


例如/opt/nginx目录下有日志产生

点击show messages 可以查询对应日志说明正常采集

a8746db61c2914f5251b5400601b803b.png

2fdb4b179b968689d62b7e8bac4e20ae.png


69f4fd6de79ec22684f4bbe73eff18c2.png

7、windows版本的graylog-sidecar安装与配置


https://github.com/Graylog2/collector-sidecar/releases/download/1.0.2/graylog_sidecar_installer_1.0.2-1.exe

windows版本sidecar已经集成了filebeat和winlogbeat


1)安装graylog-sidecar

b51edfccbabba40b23b9a00fd1cecb5f.png

2)安装过程中配置相关参数


API URL http://192.168.31.80:9000/api

实例名 Win7_192.168.31.38

填入GrayLog的API token

47c9f0cd434cb07704c67447d641f1b1.png

3)完成安装

640.png

4)命令行注册服务,并启动服务


"C:\Program Files\graylog\sidecar\graylog-sidecar.exe" -service install
"C:\Program Files\graylog\sidecar\graylog-sidecar.exe" -service start

640.png

这时可以在服务里看到sidecar注册到系统服务中了

640.png

5)grayLog中也可以看到该windows主机上线了

640.png

6)这时可以创建一个windows filebeat类型的采集规则配置然后进行下发,具体步骤就不赘述了,见下面步骤截图 最后验证一下效果


640.png640.png640.png640.png


相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
6天前
|
存储 算法 Go
go语言并发实战——日志收集系统(七) etcd的介绍与简单使用
go语言并发实战——日志收集系统(七) etcd的介绍与简单使用
|
6天前
|
监控 Go
go语言并发实战——日志收集系统(八) go语言操作etcd以及利用watch实现对键值的监控
go语言并发实战——日志收集系统(八) go语言操作etcd以及利用watch实现对键值的监控
go语言并发实战——日志收集系统(八) go语言操作etcd以及利用watch实现对键值的监控
|
5天前
|
缓存 监控 安全
在 Spring Boot 中使用 AOP(Aspect-Oriented Programming)实现日志记录功能
在 Spring Boot 中使用 AOP(Aspect-Oriented Programming)实现日志记录功能
17 1
|
6天前
|
消息中间件 存储 监控
go语言并发实战——日志收集系统(六) 编写日志收集系统客户端
go语言并发实战——日志收集系统(六) 编写日志收集系统客户端
|
6天前
|
消息中间件 存储 Kafka
go语言并发实战——日志收集系统(二) Kafka简介
go语言并发实战——日志收集系统(二) Kafka简介
|
6天前
|
监控 Go
go语言并发实战——日志收集系统(十一)基于etcd来监视配置文件的变化
go语言并发实战——日志收集系统(十一)基于etcd来监视配置文件的变化
|
6天前
|
监控 Go
go语言并发实战——日志收集系统(十) 重构tailfile模块实现同时监控多个日志文件
go语言并发实战——日志收集系统(十) 重构tailfile模块实现同时监控多个日志文件
|
6天前
|
存储 JSON 监控
go语言并发实战——日志收集系统(九) 基于etcd的代码重构思考与初步实现
go语言并发实战——日志收集系统(九) 基于etcd的代码重构思考与初步实现
|
6天前
|
消息中间件 Kafka Go
go语言并发实战——日志收集系统(五) 基于go-ini包读取日志收集服务的配置文件
go语言并发实战——日志收集系统(五) 基于go-ini包读取日志收集服务的配置文件
|
6天前
|
存储 监控 算法
go语言并发实战——日志收集系统(四) 利用tail包实现对日志文件的实时监控
go语言并发实战——日志收集系统(四) 利用tail包实现对日志文件的实时监控