利用Logstash实现GrayLog日志转发到第三方日志平台
之前有介绍GrayLog两个平台之间如何级联
利用GrayLog的output功能实现简单的GrayLog分布式级联
但需要将GrayLog接入的设备日志全部转发到第三方日志这种场景如何解决?
结合下面的文章找到了解决方法
https://blog.csdn.net/weixin_43334786/article/details/108859134 https://blog.csdn.net/a150791038/article/details/124346888
解决方案简单架构如下图所示
(图片点击放大查看)
解决方案具体实现步骤
1、提前下载logstash rpm安装包和logstash-output-syslog插件包
https://mirrors.cloud.tencent.com/elasticstack/7.x/yum/7.10.2/logstash-7.10.2-x86_64.rpm https://github.com/logstash-plugins/logstash-output-syslog
2、安装logstash并安装logstash-output-syslog插件
找一台CentOS7的服务器安装logstash
并安装logstash-output-syslog插件以及logstash-input-gelf(自带，无需单独下载插件）
rpm -ivh logstash-7.10.2-x86_64.rpm unzip logstash-output-syslog.zip cd /usr/share/logstash/ cp -rf /root/logstash-output-syslog ./ vim Gemfile 最后一行加入如下内容 gem "logstash-output-syslog", :path => "/usr/share/logstash/logstash-output-syslog" /usr/share/logstash/bin/logstash-plugin install logstash-output-syslog
(图片点击放大查看)
(图片点击放大查看)
(图片点击放大查看)
(图片点击放大查看)
这个install logstash-input-gelf不要忘了安装 /usr/share/logstash/bin/logstash-plugin install logstash-input-gelf /usr/share/logstash/bin/logstash-plugin list 检查logstash-output-syslog是否有了
(图片点击放大查看)
(图片点击放大查看)
修改logstash.conf配置文件
cd /etc/logstash/ mv logstash-sample.conf conf.d/logstash.conf cd conf.d/ vi logstash.conf # Sample Logstash configuration for creating a simple # Beats -> Logstash -> Elasticsearch pipeline. input { gelf { host => "192.168.31.175" port => "12201" } } output { syslog { host => "192.168.31.230" port => "22201" } }
(图片点击放大查看)
systemctl enable logstash.service systemctl start logstash.service tail -f /var/log/logstash/logstash-plain.log
(图片点击放大查看)
3、原GrayLog日志平台配置output
(图片点击放大查看)
(图片点击放大查看)
(图片点击放大查看)
4、第三方日志平台确认是否收到日志
触发设备日志，在第三方日志平台上确认是否logstash转发过来的日志
(图片点击放大查看)
如上图，第三方日志平台已经成功收到日志
（说明：我这里用GrayLog平台模拟第三方日志平台）
5、Tips
- 1、有尝试用Nxlog-CE来实现Input GELF格式转换成Output Syslog
https://docs.nxlog.co/ce/current/index.html#xm_gelf
通过测试发现此路不通
原因：CE版本只支持gelf的output类型，不支持gelf的input类型
(图片点击放大查看)
(图片点击放大查看)
(图片点击放大查看)
- 2、注意各日志平台的系统时间是否一致
建议系统时间先用NTP服务器进行校时
