业务服务器免装插件,使用rsync+nxlog同步+采集应用日志并接入到GrayLog5.1

本文涉及的产品
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
日志服务 SLS,月写入数据量 50GB 1个月
文件存储 NAS,50GB 3个月
简介: 业务服务器免装插件,使用rsync+nxlog同步+采集应用日志并接入到GrayLog5.1

业务服务器免装插件,使用rsync+nxlog同步+采集应用日志并接入到GrayLog5.1

一、场景如下

AppServer业务服务器上的应用日志需要接入到GrayLog,进行字段分析及业务日志异常告警

但是AppServer业务服务器为重要生产环境,不建议安装filebeat和nxlog等其他日志采集的Agent插件程序

所以考虑将AppServer业务服务器上的应用日志实时同步到某个中间服务器上,然后再发往GrayLog

所以有了如下拓扑图的这种方案

(图片点击放大查看)

利用rsync将AppServer业务服务器上应用日志同步到群晖NAS上,然后NAS利用NFS或者其他协议挂载到GrayLog服务器上,在GrayLog服务器上面安装nxlog读取NFS挂载目录下的日志文件,即可实现日志采集读取

主要环境说明

  • 1、AppServer业务服务器:192.168.31.230
  • 2、群晖NAS:192.168.31.140
  • 3、GrayLog 192.168.31.170

具体步骤如下

1、AppServer业务服务器使用ssh-keygen生成密钥对

ssh-keygen -t rsa -b 4096 -C "appserver"
cd /root/.ssh/
cp id_rsa id_rsa_appserver.pem
cat /etc/ssh/sshd_config | grep authorized_keys
cat id_rsa.pub >> /root/.ssh/authorized_keys
sz /root/.ssh/id_rsa_appserver.pem

(图片点击放大查看)

(图片点击放大查看)

假设AppServer业务服务器的应用日志为/var/log/nginx/*.log

2、群晖NAS上配置ABB文件服务器rsync备份计划

选择通过SSH连接至rsync shell模式,然后

认证策略:通过SSH密钥验证

备份模式:镜像

备份到/LogSpace NAS的本地路径

(图片点击放大查看)

(图片点击放大查看)

(图片点击放大查看)

(图片点击放大查看)

(图片点击放大查看)

运行频率为每小时一次

(图片点击放大查看)

(图片点击放大查看)

3、NAS上面配置NFS文件服务

(图片点击放大查看)

(图片点击放大查看)

4、GrayLog服务器上面挂载NFS

yum install nfs-utils
showmount -e 192.168.31.140
mkdir /log_collector
mount -t nfs 192.168.31.140:/volume1/LogSpace /log_collector/ -o proto=tcp -o nolock
echo "mount -t nfs 192.168.31.140:/volume1/LogSpace /log_collector/ -o proto=tcp -o nolock" >> /etc/rc.local
chmod a+x /etc/rc.d/rc.local

(图片点击放大查看)

下面就可以在GrayLog安装nxlog去读取采集/log_collector/下的日志了

/log_collector/var/log/nginx/*.log

二、优化方案

上面的同步方式可针对实时性要求不高的场景 由于群晖NAS上ABB(active backup for business)rsync备份只能每小时同步一次

业务日志的实时性要求比较强,所以决定直接rsync+crontab定时任务这种方式来实时同步日志,再nxlog进行读取,如下图所示

(图片点击放大查看)

1、编写rsync同步的脚本

mkdir /root/.ssh
cd /root/.ssh/
上传id_rsa_appserver.pem
mkdir /LogSpace
rsync --progress -avz --perms --chmod=ugo+r -og --chown=root:root -e "ssh -p 22 -i /root/.ssh/id_rsa_appserver.pem" root@192.168.31.230:/var/log/nginx/ /LogSpace/
先确认rsync同步是否OK
报错:Permissions 0644 for '/root/.ssh/id_rsa_appserver.pem' are too open.
解决办法:chmod 0600 /root/.ssh/id_rsa_appserver.pem

(图片点击放大查看)

cat /opt/logfiles_rsync.sh
#!/bin/bash
LOCK=/var/log/appserverlogs_rsync_record.log
echo "同步日期:" >> ${LOCK} 2>&1
echo `date '+%Y-%m-%d_%T'`  >> ${LOCK} 2>&1
echo "================= AppServer logs Rsync starting==============================="   >> ${LOCK} 2>&1
rsync --progress -avz --perms --chmod=ugo+r -og --chown=root:root -e "ssh -p 22 -i /root/.ssh/id_rsa_appserver.pem" root@192.168.31.230:/var/log/nginx/ /LogSpace/ >> ${LOCK} 2>&1
echo "================= AppServer logs Rsync Finished==============================="   >> ${LOCK} 2>&1
#chmod -R 755 /LogSpace/ >> ${LOCK} 2>&1
#chown -R root:root /LogSpace/ >> ${LOCK} 2>&1

(图片点击放大查看)

crontab -e
添加每1分钟定时同步应用日志到本地
*/59 * * * * /usr/sbin/ntpdate ntp.aliyun.com >> /tmp/ntp_sync.log
*/1 * * * * /opt/logfiles_rsync.sh

(图片点击放大查看)

然后记得权限

chmod 777 /opt/logfiles_rsync.sh

2、安装nxlog-ce

yum localinstall nxlog-ce*.rpm

3、修改nxlog配置文件

vim /etc/nxlog/nxlog.conf

(图片点击放大查看)

(图片点击放大查看)

修改如下几处

1)、运行用户改为root
User root
Group root
2)、Input Output 和Route配置
<Extension _syslog>
    Module      xm_syslog
</Extension>
<Extension _json>
    Module      xm_json
</Extension>
<Input 192.168.31.230_appserver_log>
    Module      im_file
    File        "/LogSpace/*.log"
    SavePos     TRUE
    ReadFromLast TRUE
      <Exec>
           $Hostname = file_name();
           $Message =  $raw_event ;
      </Exec>
</Input>
<Output toGraylog>
    Module      om_udp
    Host        192.168.31.170
    Port        2514
    Exec        to_syslog_bsd();
    Exec        parse_syslog(); to_json();
</Output>
########################################
# Routes                               #
########################################
<Route udproute>
    Path        192.168.31.230_appserver_log => toGraylog
</Route>
systemctl enable nxlog
systemctl start nxlog
systemctl status nxlog

(图片点击放大查看)

排错命令

journalctl -xe -u nxlog
tail -f /var/log/nxlog/nxlog.log

4、GrayLog配置日志接入

json日志解析,可以获取到日志的实际路径文件名字段

(图片点击放大查看)

(图片点击放大查看)

步骤省略,最后的效果

(图片点击放大查看)

Tips

1、nxlog与graylog能使用GELF格式对接

https://docs.nxlog.co/userguide/integrate/graylog.html

2、Graylog的MongoDB6.0开启账号认证

参考如下链接

https://www.mongodb.com/docs/manual/tutorial/configure-scram-client-authentication/

1、mongosh 命令行登录数据库,创建用户设置密码

use admin
db.createUser({user: "admin", pwd: "Admin@2023!", roles: ["root"]})
db.auth("admin","Admin@2023!")
#创建graylog数据库并设置密码
use graylog
db.createUser({
   user: "graylog", 
   pwd: "Graylog2023!",
  "roles" : [{
      "role" : "dbOwner",
      "db" : "graylog"
    }, {
      "role" : "readWrite",
      "db" : "graylog"
    }]
})

(图片点击放大查看)

2、修改配置文件,开启认证

vim /etc/mongod.conf 
修改如下行
security:
  authorization: enabled

(图片点击放大查看)

3、GrayLog配置文件修改mongodb连接信息

vim /etc/graylog/server/server.conf 
连接配置信息修改成
mongodb_uri = mongodb://graylog:Graylog2023!@localhost/graylog

4、重启mongod和graylog-server

systemctl restart mongod
systemctl restart graylog-server.service

(图片点击放大查看)

(图片点击放大查看)

5、账号密码方式连接数据库

mongosh --port 27017  --authenticationDatabase     "admin" -u "admin" -p
mongosh --port 27017  --authenticationDatabase     "graylog" -u "graylog" -p
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
1月前
|
存储 数据采集 分布式计算
Hadoop-17 Flume 介绍与环境配置 实机云服务器测试 分布式日志信息收集 海量数据 实时采集引擎 Source Channel Sink 串行复制负载均衡
Hadoop-17 Flume 介绍与环境配置 实机云服务器测试 分布式日志信息收集 海量数据 实时采集引擎 Source Channel Sink 串行复制负载均衡
41 1
|
1月前
|
分布式计算 资源调度 数据可视化
Hadoop-06-Hadoop集群 历史服务器配置 超详细 执行任务记录 JobHistoryServer MapReduce执行记录 日志聚合结果可视化查看
Hadoop-06-Hadoop集群 历史服务器配置 超详细 执行任务记录 JobHistoryServer MapReduce执行记录 日志聚合结果可视化查看
30 1
|
1月前
|
SQL 存储 关系型数据库
Mysql主从同步 清理二进制日志的技巧
Mysql主从同步 清理二进制日志的技巧
25 1
|
3月前
|
监控 应用服务中间件 网络安全
Nightingale——部署客户端采集其他服务器状态信息
Nightingale——部署客户端采集其他服务器状态信息
67 1
Nightingale——部署客户端采集其他服务器状态信息
|
2月前
|
关系型数据库 MySQL 应用服务中间件
服务器端日志在哪里
服务器端日志在哪里
|
3月前
|
Ubuntu Linux 测试技术
在Linux中,已知 apache 服务的访问日志按天记录在服务器本地目录/app/logs 下,由于磁盘空间紧张现在要求只能保留最近7天的访问日志,请问如何解决?
在Linux中,已知 apache 服务的访问日志按天记录在服务器本地目录/app/logs 下,由于磁盘空间紧张现在要求只能保留最近7天的访问日志,请问如何解决?
|
3月前
|
PHP
PHP遍历文件并同步上传到服务器
在进行网站迁移时,由于原网站的图片文件过多,采用打包下载再上传的方式耗时过长,且尝试使用FTP工具从旧服务器传输至新服务器时失败。为解决此问题,特使用PHP编写了一款工具,该工具能扫描指定目录下的所有`.webp`图像文件,并将其上传至新的服务器,极大地提高了迁移效率。
103 16
|
3月前
|
Prometheus 监控 Cloud Native
Web服务器的日志分析与监控
【8月更文第28天】Web服务器日志提供了关于服务器活动的重要信息,包括访问记录、错误报告以及性能数据。有效地分析这些日志可以帮助我们了解用户行为、诊断问题、优化网站性能,并确保服务的高可用性。本文将介绍如何使用日志分析和实时监控工具来监测Web服务器的状态和性能指标,并提供具体的代码示例。
370 0
|
3月前
|
存储 Ubuntu Linux
如何在服务器之间同步文件?
如何在服务器之间同步文件?
86 3
|
3月前
|
Linux
Linux——服务器时间不同步
Linux——服务器时间不同步
43 0