开源日志管理系统Graylog之Sidecar功能实践

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 开源日志管理系统Graylog之Sidecar功能实践

640.jpg

在之前搭建完GrayLog的基础上(参考之前的文章CentOS7下部署Graylog开源日志管理系统)


参考GrayLog官方帮助文档中关于sidecar的详细介绍动手实践验证sidecar日志采集功能

https://docs.graylog.org/en/3.3/pages/sidecar.html 

下面为详细步骤:点击图片查看清晰大图


1、添加Beats类型的Input


3769777f16075129e7d14816ff6327c7.png047d4e7f04c30b3ec61cc7c74d9c2737.png48cb8116d0bde46709022ed54284868a.png


2、创建graylog-sidecar的token


d78ab74697fc042bff6b32f0d0729d2b.pngf504c75ac5dc1396b7b7def30c62658b.png


3、先在Linux主机上安装sidecar客户端和filebeat


两种方式:

1)安装Graylog Sidecar存储库配置后yum install graylog-sidecar


rpm -Uvh https://packages.graylog2.org/repo/packages/graylog-sidecar-repository-1-2.noarch.rpm
yum install graylog-sidecar


2)rpm -ivh 方式本地安装

https://github.com/Graylog2/collector-sidecar/releases 

这里下载sidecar的x86_64位版本的rpm包(同时也把windows版本也下载下来,后面介绍)

2aeaad30d4c575d23a273b504aba2ee3.png

filebeat最新的安装包

https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.8.0-x86_64.rpm


rpm -ivh graylog-sidecar-1.0.2-1.x86_64.rpm 
rpm -ivh filebeat-7.8.0-x86_64.rpm

ace1f28f2db6c9514d4ab11e733c5e83.png

并修改配置文件


vi /etc/graylog/sidecar/sidecar.yml
1)#server_url: "http://127.0.0.1:9000/api/"
修改为http://192.168.31.80:9000/api/
2)server_api_token: "bavcp8u7sanaottr2lllg2ebogsn6brfgnifa76vm3ec8n64k50"
3)#node_name: ""改为node_name: "192.168.31.194_CentOS7"
4)取消#update_interval: 10的注释update_interval: 10
5)取消#send_status: true 的注释send_status: true
graylog-sidecar -service install
systemctl start graylog-sidecar


88fff79eaeb03dc9e9e1233ce609f975.pngf714cb3af77372a28efe0b5366f728e3.png

这时在sidecar总览界面看到192.168.31.194在线

83adcd3e57a7e79c20804f01542e025f.png

4、配置采集规则


1)Sidecars Overview界面点击Configuration按钮

1945e0e0d3800cc47feec31dbf2cb387.png

2)点击Create Configuration创建配置

f7bb52c37d65d0a25066f98c30590b2c.png

Name自定义为CentOS7_collector_cfg

Configuration color挑选一个颜色

Collector选择为filebeat on Linux类型

Configuration配置文件修改

例如 paths: - /opt/nginx/*.log 也就是采集/opt/nginx/目录下.log结尾的日志

output.logstash: hosts: ["192.168.31.80:5044"] 发给192.168.31.80的5044端口,也就是之前创建的beats 5044接收端口

81907de0f0a878e7e1516009b7fd3794.png

最后配置好之后,点Create保存配置


219537adf61c67f30b3d478b7ed5dc74.png

5、下发配置文件


先回到Sidecars Overview界面,点击Administration管理按钮,进行配置下发

06b525570cd753ce25e98a41e1c202c8.png

fc902c34f011e462b71c485d5903facb.png

6、验证日志采集是否生效


例如/opt/nginx目录下有日志产生

点击show messages 可以查询对应日志说明正常采集

a8746db61c2914f5251b5400601b803b.png

2fdb4b179b968689d62b7e8bac4e20ae.png


69f4fd6de79ec22684f4bbe73eff18c2.png

7、windows版本的graylog-sidecar安装与配置


https://github.com/Graylog2/collector-sidecar/releases/download/1.0.2/graylog_sidecar_installer_1.0.2-1.exe

windows版本sidecar已经集成了filebeat和winlogbeat


1)安装graylog-sidecar

b51edfccbabba40b23b9a00fd1cecb5f.png

2)安装过程中配置相关参数


API URL http://192.168.31.80:9000/api

实例名 Win7_192.168.31.38

填入GrayLog的API token

47c9f0cd434cb07704c67447d641f1b1.png

3)完成安装

640.png

4)命令行注册服务,并启动服务


"C:\Program Files\graylog\sidecar\graylog-sidecar.exe" -service install
"C:\Program Files\graylog\sidecar\graylog-sidecar.exe" -service start

640.png

这时可以在服务里看到sidecar注册到系统服务中了

640.png

5)grayLog中也可以看到该windows主机上线了

640.png

6)这时可以创建一个windows filebeat类型的采集规则配置然后进行下发,具体步骤就不赘述了,见下面步骤截图 最后验证一下效果


640.png640.png640.png640.png


相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
相关文章
|
2月前
|
Prometheus 监控 Cloud Native
基于docker搭建监控系统&日志收集
Prometheus 是一款由 SoundCloud 开发的开源监控报警系统及时序数据库(TSDB),支持多维数据模型和灵活查询语言,适用于大规模集群监控。它通过 HTTP 拉取数据,支持服务发现、多种图表展示(如 Grafana),并可结合 Loki 实现日志聚合。本文介绍其架构、部署及与 Docker 集成的监控方案。
327 122
基于docker搭建监控系统&日志收集
WGLOG日志管理系统是怎么收集日志的
WGLOG通过部署Agent客户端采集日志,Agent持续收集指定日志文件并上报Server,Server负责展示与分析。Agent与Server需保持相同版本。官网下载地址:www.wgstart.com
|
2月前
|
SQL 人工智能 监控
SLS Copilot 实践:基于 SLS 灵活构建 LLM 应用的数据基础设施
本文将分享我们在构建 SLS SQL Copilot 过程中的工程实践,展示如何基于阿里云 SLS 打造一套完整的 LLM 应用数据基础设施。
563 53
|
存储 运维 开发工具
警惕日志采集失败的 6 大经典雷区:从本地管理反模式到 LoongCollector 标准实践
本文探讨了日志管理中的常见反模式及其潜在问题,强调科学的日志管理策略对系统可观测性的重要性。文中分析了6种反模式:copy truncate轮转导致的日志丢失或重复、NAS/OSS存储引发的采集不一致、多进程写入造成的日志混乱、创建文件空洞释放空间的风险、频繁覆盖写带来的数据完整性问题,以及使用vim编辑日志文件导致的重复采集。针对这些问题,文章提供了最佳实践建议,如使用create模式轮转日志、本地磁盘存储、单线程追加写入等方法,以降低日志采集风险,提升系统可靠性。最后总结指出,遵循这些实践可显著提高故障排查效率和系统性能。
906 21
|
5月前
|
监控 API 开发工具
HarmonyOS Next的HiLog日志系统完全指南:从入门到精通
本文深入解析HarmonyOS Next的HiLog日志系统,涵盖日志级别、核心API、隐私保护与高级回调功能,助你从入门到精通掌握这一重要开发工具。
335 1
|
2月前
|
Ubuntu
在Ubuntu系统上设置syslog日志轮替与大小限制
请注意,在修改任何系统级别配置之前,请务必备份相应得原始档案并理解每项变更可能带来得影响。
246 2
|
4月前
|
存储
WGLOG日志管理系统可以采集网络设备的日志吗
WGLOG日志审计系统提供开放接口,支持外部获取日志内容后发送至该接口,实现日志的存储与分析。详情请访问:https://www.wgstart.com/wglog/docs9.html
|
8月前
|
存储 消息中间件 缓存
MiniMax GenAI 可观测性分析 :基于阿里云 SelectDB 构建 PB 级别日志系统
基于阿里云SelectDB,MiniMax构建了覆盖国内及海外业务的日志可观测中台,总体数据规模超过数PB,日均新增日志写入量达数百TB。系统在P95分位查询场景下的响应时间小于3秒,峰值时刻实现了超过10GB/s的读写吞吐。通过存算分离、高压缩比算法和单副本热缓存等技术手段,MiniMax在优化性能的同时显著降低了建设成本,计算资源用量降低40%,热数据存储用量降低50%,为未来业务的高速发展和技术演进奠定了坚实基础。
343 1
MiniMax GenAI 可观测性分析 :基于阿里云 SelectDB 构建 PB 级别日志系统
|
8月前
|
存储 SQL Oracle
|
8月前
|
存储 JSON Go
PHP 日志系统的最佳搭档:一个 Go 写的远程日志收集服务
为了不再 SSH 上去翻日志,我写了个 Go 小脚本,用来接收远程日志。PHP 负责记录日志,Go 负责存储和展示,按天存储、支持 API 访问、可远程管理,终于能第一时间知道项目炸了。
153 10

热门文章

最新文章