开源日志管理系统Graylog之Sidecar功能实践

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 开源日志管理系统Graylog之Sidecar功能实践

640.jpg

在之前搭建完GrayLog的基础上(参考之前的文章CentOS7下部署Graylog开源日志管理系统)


参考GrayLog官方帮助文档中关于sidecar的详细介绍动手实践验证sidecar日志采集功能

https://docs.graylog.org/en/3.3/pages/sidecar.html 

下面为详细步骤:点击图片查看清晰大图


1、添加Beats类型的Input


3769777f16075129e7d14816ff6327c7.png047d4e7f04c30b3ec61cc7c74d9c2737.png48cb8116d0bde46709022ed54284868a.png


2、创建graylog-sidecar的token


d78ab74697fc042bff6b32f0d0729d2b.pngf504c75ac5dc1396b7b7def30c62658b.png


3、先在Linux主机上安装sidecar客户端和filebeat


两种方式:

1)安装Graylog Sidecar存储库配置后yum install graylog-sidecar


rpm -Uvh https://packages.graylog2.org/repo/packages/graylog-sidecar-repository-1-2.noarch.rpm
yum install graylog-sidecar


2)rpm -ivh 方式本地安装

https://github.com/Graylog2/collector-sidecar/releases 

这里下载sidecar的x86_64位版本的rpm包(同时也把windows版本也下载下来,后面介绍)

2aeaad30d4c575d23a273b504aba2ee3.png

filebeat最新的安装包

https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.8.0-x86_64.rpm


rpm -ivh graylog-sidecar-1.0.2-1.x86_64.rpm 
rpm -ivh filebeat-7.8.0-x86_64.rpm

ace1f28f2db6c9514d4ab11e733c5e83.png

并修改配置文件


vi /etc/graylog/sidecar/sidecar.yml
1)#server_url: "http://127.0.0.1:9000/api/"
修改为http://192.168.31.80:9000/api/
2)server_api_token: "bavcp8u7sanaottr2lllg2ebogsn6brfgnifa76vm3ec8n64k50"
3)#node_name: ""改为node_name: "192.168.31.194_CentOS7"
4)取消#update_interval: 10的注释update_interval: 10
5)取消#send_status: true 的注释send_status: true
graylog-sidecar -service install
systemctl start graylog-sidecar


88fff79eaeb03dc9e9e1233ce609f975.pngf714cb3af77372a28efe0b5366f728e3.png

这时在sidecar总览界面看到192.168.31.194在线

83adcd3e57a7e79c20804f01542e025f.png

4、配置采集规则


1)Sidecars Overview界面点击Configuration按钮

1945e0e0d3800cc47feec31dbf2cb387.png

2)点击Create Configuration创建配置

f7bb52c37d65d0a25066f98c30590b2c.png

Name自定义为CentOS7_collector_cfg

Configuration color挑选一个颜色

Collector选择为filebeat on Linux类型

Configuration配置文件修改

例如 paths: - /opt/nginx/*.log 也就是采集/opt/nginx/目录下.log结尾的日志

output.logstash: hosts: ["192.168.31.80:5044"] 发给192.168.31.80的5044端口,也就是之前创建的beats 5044接收端口

81907de0f0a878e7e1516009b7fd3794.png

最后配置好之后,点Create保存配置


219537adf61c67f30b3d478b7ed5dc74.png

5、下发配置文件


先回到Sidecars Overview界面,点击Administration管理按钮,进行配置下发

06b525570cd753ce25e98a41e1c202c8.png

fc902c34f011e462b71c485d5903facb.png

6、验证日志采集是否生效


例如/opt/nginx目录下有日志产生

点击show messages 可以查询对应日志说明正常采集

a8746db61c2914f5251b5400601b803b.png

2fdb4b179b968689d62b7e8bac4e20ae.png


69f4fd6de79ec22684f4bbe73eff18c2.png

7、windows版本的graylog-sidecar安装与配置


https://github.com/Graylog2/collector-sidecar/releases/download/1.0.2/graylog_sidecar_installer_1.0.2-1.exe

windows版本sidecar已经集成了filebeat和winlogbeat


1)安装graylog-sidecar

b51edfccbabba40b23b9a00fd1cecb5f.png

2)安装过程中配置相关参数


API URL http://192.168.31.80:9000/api

实例名 Win7_192.168.31.38

填入GrayLog的API token

47c9f0cd434cb07704c67447d641f1b1.png

3)完成安装

640.png

4)命令行注册服务,并启动服务


"C:\Program Files\graylog\sidecar\graylog-sidecar.exe" -service install
"C:\Program Files\graylog\sidecar\graylog-sidecar.exe" -service start

640.png

这时可以在服务里看到sidecar注册到系统服务中了

640.png

5)grayLog中也可以看到该windows主机上线了

640.png

6)这时可以创建一个windows filebeat类型的采集规则配置然后进行下发,具体步骤就不赘述了,见下面步骤截图 最后验证一下效果


640.png640.png640.png640.png


相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
26天前
|
存储 运维 监控
开源日志Graylog
【10月更文挑战第21天】
91 8
|
26天前
|
存储 数据采集 监控
开源日志Fluentd
【10月更文挑战第21天】
35 7
|
26天前
|
存储 监控 安全
|
25天前
|
存储 数据采集 监控
开源日志分析Elasticsearch
【10月更文挑战第22天】
46 5
|
23天前
|
存储 Linux Docker
centos系统清理docker日志文件
通过以上方法,可以有效清理和管理CentOS系统中的Docker日志文件,防止日志文件占用过多磁盘空间。选择合适的方法取决于具体的应用场景和需求,可以结合手动清理、logrotate和调整日志驱动等多种方式,确保系统的高效运行。
23 2
|
25天前
|
机器学习/深度学习 运维 监控
开源日志分析Kibana
【10月更文挑战第22天】
32 3
|
25天前
|
存储 JSON 监控
开源日志分析Logstash
【10月更文挑战第22天】
42 1
|
22天前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
167 30
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
2月前
|
XML JSON Java
Logback 与 log4j2 性能对比:谁才是日志框架的性能王者?
【10月更文挑战第5天】在Java开发中,日志框架是不可或缺的工具,它们帮助我们记录系统运行时的信息、警告和错误,对于开发人员来说至关重要。在众多日志框架中,Logback和log4j2以其卓越的性能和丰富的功能脱颖而出,成为开发者们的首选。本文将深入探讨Logback与log4j2在性能方面的对比,通过详细的分析和实例,帮助大家理解两者之间的性能差异,以便在实际项目中做出更明智的选择。
250 3
|
2月前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1650 14