部署rsyslog+loganalyzer日志服务器

本文涉及的产品
云数据库 RDS MySQL,集群版 2核4GB 100GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,高可用版 2核4GB 50GB
简介:

一、简要说明 

    日志记录了对服务器系统的一切操作,因此,对服务器日志的管理,是我们每个运维人员每天的必要工作,也是评估服务器安全状况的有效手段之一,可是如何管理众多服务器的日志?如果要是一台一台看的话,怕是不止盯的眼花缭乱,累也的累坏了。

    所以,我们要搭建一台日志服务器,要把所有服务器的日志通通存到这台远程日志服务器上来,这样,不仅可以集中管理、评估各服务器的安全状况,还可以减少各服务器的磁盘占用率。

    即使所有服务器的日志都保存在一台服务器上的mysql(也可存到本地磁盘)了,如何管理、分析这些日志也是一个问题,好在有loganalyzer这个日志分析工具,它会让日志分析变得so easy!

    服务器说明:192.168.200.106是rsyslog日志服务器,其它服务器均为rsyslog客户端

二、部署rsyslog+loganalyzer日志服务器

    我们的首要工作即是配置好rsyslog服务器,接下来的任务即是部署loganalyzer这个日志分析工具,这就是一个LAMP,直接yum安装,配置配置参数就搞定了。但此次,在公司部署的时候,却碰到几个问题,导致日志服务器不能正常获取各服务器的日志数据,因此,部署过程中还是需要细心的,下面就进入正题。

1、配置rsyslog日志服务器

(1)安装软件包

    因为rsyslog要把日志存到mysql中,所以要有mysql服务器,还要有rsyslog配置文件加载连接mysql的模块

1
[root@rsyslog ~] # yum -y install rsyslog mysql-server rsyslog-mysql

(2)配置数据库

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
[root@rsyslog ~] # rpm -ql rsyslog-mysql            #首先查看rsyslog-mysql安装生成了那些文件
/lib64/rsyslog/ommysql .so
/usr/share/doc/rsyslog-mysql-5 .8.10
/usr/share/doc/rsyslog-mysql-5 .8.10 /createDB .sql    #此sql文件就是需要导入到数据库中的数据文件
#
[root@rsyslog ~] # service mysqld start             #启动mysqld服务
[root@rsyslog ~] # mysql                            #连接mysql
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection  id  is 2
Server version: 5.1.73 Source distribution
 
Copyright (c) 2000, 2013, Oracle and /or  its affiliates. All rights reserved.
 
Oracle is a registered trademark of Oracle Corporation and /or  its
affiliates. Other names may be trademarks of their respective
owners.
 
Type  'help;'  or  '\h'  for  help. Type  '\c'  to  clear  the current input statement.
 
mysql> 
mysql> 
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
test                |
+--------------------+
3 rows  in  set  (0.00 sec)   #此时,只有3个库
#
mysql>  source  /usr/share/doc/rsyslog-mysql-5 .8.10 /createDB .sql;    #导入rsyslog的数据文件
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| Syslog             |
| mysql              |
test                |
+--------------------+
4 rows  in  set  (0.01 sec)
mysql> use Syslog;               #Syslog即是记录日志文件的数据库
Reading table information  for  completion of table and column names
You can turn off this feature to get a quicker startup with -A
Database changed
mysql> show tables;
+------------------------+
| Tables_in_Syslog       |
+------------------------+
| SystemEvents           |
| SystemEventsProperties |
+------------------------+
2 rows  in  set  (0.00 sec)
#
#接下来,即是为rsyslog服务器授权。此处一定是rsyslog服务器的IP
#如果写成各服务器的IP,那就错了
mysql> grant all on Syslog.* to  'syslogroot' @ '127.0.0.1'  identified by  'syslogpass' ;
Query OK, 0 rows affected (0.00 sec)
mysql> grant all on Syslog.* to  'syslogroot' @ '192.168.200.106'  identified by  'syslogpass' ;
Query OK, 0 rows affected (0.04 sec)
mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)
mysql> \q
Bye

(3)修改rsyslog日志服务器配置文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
[root@rsyslog ~] # grep -v "^$" /etc/rsyslog.conf | grep -v "^#"
$ModLoad imuxsock
$ModLoad imklog
$ModLoad imudp             #加载udp的模块
$UDPServerRun 514          #允许接收udp 514的端口传来的日志
$ModLoad imtcp             #加载tcp的模块
$InputTCPServerRun 514     #允许接收tcp 514的端口传来的日志
$ModLoad ommysql           #加载mysql的模块
$ActionFileDefaultTemplateRSYSLOG_TraditionalFileFormat
$IncludeConfig  /etc/rsyslog .d/*.conf
*.*       :ommysql:192.168.200.106,Syslog,syslogroot,syslogpass       #添加此行,所有设施的所有日志都记录到此数据库服务器的Syslog数据库中,以syslogroot用户,syslogpass密码访问数据库
local7.*                           /var/log/boot .log
$template SpiceTmpl, "%TIMESTAMP%.%TIMESTAMP:::date-subseconds% %syslogtag% %syslogseverity-text%:%msg:::sp-if-no-1st-sp%%msg:::drop-last-lf%\n"
:programname, startswith,  "spice-vdagent"    /var/log/spice-vdagent .log;SpiceTmpl

(4)修改完成后,重启rsyslog服务

1
2
3
[root@rsyslog ~] # service rsyslog restart
Shutting down system logger:                               [  OK  ]
Starting system logger:                                    [  OK  ]

2、配置rsyslog客户端

(1)修改配置文件

1
2
3
4
5
6
7
8
9
[root@mariadb ~] # grep -v "^$" /etc/rsyslog.conf | grep -v "^#"
$ModLoad imuxsock  # provides support for local system logging (e.g. via logger command)
$ModLoad imklog    # provides kernel logging support (previously done by rklogd)
$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat
$IncludeConfig  /etc/rsyslog .d/*.conf
*.*       @192.168.200.106
*.*       :ommysql:192.168.200.106,Syslog,syslogroot,syslogpass
$template SpiceTmpl, "%TIMESTAMP%.%TIMESTAMP:::date-subseconds% %syslogtag% %syslogseverity-text%:%msg:::sp-if-no-1st-sp%%msg:::drop-last-lf%\n"
:programname, startswith,  "spice-vdagent"    /var/log/spice-vdagent .log;SpiceTmpl

(2)修改完成后,重启rsyslog服务

1
2
3
[root@rsyslog ~] # service rsyslog restart
Shutting down system logger:                               [  OK  ]
Starting system logger:                                    [  OK  ]

验证客户端日志文件的存放

(1)使用logger生成一条日志信息

1
[root@mariadb ~] # logger -p info "I'm mariadb"

(2)在rsyslog服务器上验证

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
[root@rsyslog ~] # mysql
mysql> use Syslog;
mysql>  select  * from SystemEvents\G
*************************** 279. row ***************************
                 ID: 279
         CustomerID: NULL
         ReceivedAt: 2014-08-13 20:07:39
DeviceReportedTime: 2014-08-13 20:07:40
           Facility: 1
           Priority: 6
           FromHost: mariadb
            Message:  I'm mariadb         #我在做的时候,就是因为第二部的1的(2)中mysql授权时,写的是客户端IP,导致这里获取不到数据。
         NTSeverity: NULL                 #因此,在数据库授权的时候,要授权的是rsyslog日志服务器的IP
         Importance: NULL
        EventSource: NULL
          EventUser: NULL
      EventCategory: NULL
            EventID: NULL
    EventBinaryData: NULL
       MaxAvailable: NULL
          CurrUsage: NULL
           MinUsage: NULL
           MaxUsage: NULL
         InfoUnitID: 1
          SysLogTag: root:
       EventLogType: NULL
    GenericFileName: NULL
           SystemID: NULL
          processid: 
           checksum: 0
279 rows  in  set  (0.00 sec)

到这里,rsyslog日志服务器就部署完成了,但此时日志处于rsyslog日志服务器的mysql数据库中,并不方便查看与管理,所以我们再部署一个loganalyzer日志分析器,来减小日志管理的复杂度

三、部署loganalyzer日志分析器

1、安装LAMP环境

1
2
3
[root@rsyslog ~] # yum -y install httpd php php-mysql php-gd
[root@rsyslog ~] # mkdir /var/www/html/loganalyzer/
mkdir : created directory ` /var/www/html/loganalyzer/ '

2、解压loganalyzer源码包

1
2
3
4
5
6
7
8
9
10
11
12
[root@rsyslog ~] # tar xf loganalyzer-3.6.5.tar.gz
[root@rsyslog ~] # cd loganalyzer-3.6.5
[root@rsyslog loganalyzer-3.6.5]
[root@rsyslog loganalyzer-3.6.5] # ls
ChangeLog  contrib  COPYING  doc  INSTALL  src
[root@rsyslog loganalyzer-3.6.5] # mv src/* /var/www/html/loganalyzer/          #src下是php的网页文件
[root@rsyslog loganalyzer-3.6.5] # ls contrib/
configure.sh  secure.sh
[root@rsyslog loganalyzer-3.6.5] # mv contrib/* /var/www/html/loganalyzer/      #contrib目录下的两个脚本,可以打开看看
#
[root@rsyslog loganalyzer-3.6.5] # cd /var/www/html/loganalyzer/
[root@rsyslog loganalyzer] # sh configure.sh                                    #执行脚本

3、配置httpd

    修改DocumentRoot网页根目录

1
2
3
4
[root@rsyslog ~] # vim /etc/httpd/conf/httpd.conf 
DocumentRoot  "/var/www/html/loganalyzer"
#
[root@rsyslog ~] # service httpd start

4、配置httpd和mysql开机启动

1
2
[root@rsyslog ~] # chkconfig mysqld on
[root@rsyslog ~] # chkconfig httpd on

5、创建loganalyzer数据库,并授权

1
2
3
4
5
6
7
8
[root@rsyslog ~] # mysql
Enter password:
mysql> create database loganalyzer;
Query OK, 1 row affected (0.04 sec)
mysql> grant all on loganalyzer.* to dianyi@ '192.168.200.106'  identified by  'dianyi123' ;
Query OK, 0 rows affected (0.00 sec)
mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

6、安装loganalyzer

(1)安装界面

wKioL1PsIlfiOLZeAABquvXDTC4299.png

(2)step 1

wKiom1PsIVTTUlnbAADM3WKzmDk997.png

(3)step 2

wKioL1PsIonz2zexAADqKOiUPOM107.png

(4)setp 3

    在这一步,需要建立一个数据库来授权监控服务器访问

1
2
3
mysql>create database loganalyzer;
mysql>grant all on loganalyzer.* to loguser@ '192.168.200.106'  identified by  'dianyi_888' ;
mysql>flush privileges;

wKiom1PsIYaixqQbAAEZ8AIpcvc759.png

(5)setp 4

wKioL1PsIraDnTUFAADZM7ZNkGk359.png

(6)setp 5

wKioL1PsIs7RkNMTAAKJgP4gbwE940.png

(7)step 6

wKioL1PsIumTCKMbAAB_sTB70ns683.png

(8)setp 7

wKioL1PsIv_ADEgwAADnh60ziIo232.png

(9)setp 8

wKiom1PsIf3SUHv8AABN8J_yFCY473.png

(10)开始报错

wKioL1PsIynRWp_OAAEdNAQ1GfY306.png

排错阶段

1、重新安装

wKioL1PsI1XjP7MxAABIUlA92OQ550.png

2、修改表名为正确的表名

wKioL1PsI2jhZr3gAADcNzodDiY820.png

3、安装完成,enjoy it

wKioL1PsI4Xzsae8AAJd-IwfiuI760.png










本文转自 nmshuishui 51CTO博客,原文链接:http://blog.51cto.com/nmshuishui/1539784,如需转载请自行联系原作者
相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助     相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
1月前
|
监控 关系型数据库 MySQL
|
2月前
|
Linux 文件存储
定期删除服务器n天前日志
该内容介绍了如何在Linux中删除指定目录及子目录下超过n天的文件。使用`find`命令结合参数`/nas/logs/* -maxdepth 3 -type d -ctime +6`查找6天前的目录,然后通过`xargs rm -rvf`进行删除。在CentOS中,可以编辑crontab设置定时任务,例如每天1点执行此删除操作:`0 1 * * * find /nas/logs/* -maxdepth 3 -type d -ctime +6 | xargs rm -rvf`,其中`+6`可按需调整。
37 2
|
6天前
|
存储 XML Java
seata2.0服务器日志位置修改
这个过程要求您对Seata配置和Linux文件系统有基本的认识。调整配置文件时要非常细心,因为配置错误会直接影响Seata服务的运行。通过以上步骤,您可以有效地修改Seata服务器的日志位置,并确保日志文件按照您的需要被妥善地管理和存储。
7 3
|
11天前
|
监控
查看服务器/IIS日志、log、访问信息基本方法
除了手动查看,你也可以使用日志分析工具,如Log Parser、AWStats等,这些工具可以帮助你更方便地分析日志数据。
8 1
|
6天前
|
Kubernetes 关系型数据库 流计算
实时计算 Flink版产品使用问题之如何解决Flink集群在nativeKubernetes部署方式下日志无法映射到宿主机并容易丢失的问题
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
1月前
|
JavaScript Java 测试技术
基于SpringBoot+Vue+uniapp的公司员工工作日志办公系统的详细设计和实现(源码+lw+部署文档+讲解等)
基于SpringBoot+Vue+uniapp的公司员工工作日志办公系统的详细设计和实现(源码+lw+部署文档+讲解等)
|
2月前
|
存储 监控 安全
Linux ContOS7 日志管理(rsyslog)
Linux ContOS7 日志管理(rsyslog)
|
2月前
|
数据安全/隐私保护
通过mac电脑的下载服务器的日志与日志筛选
通过mac电脑的下载服务器的日志与日志筛选
35 0
|
26天前
|
存储 关系型数据库 MySQL
|
18天前
|
Java 测试技术 Apache
《手把手教你》系列基础篇(八十六)-java+ selenium自动化测试-框架设计基础-Log4j实现日志输出(详解教程)
【7月更文挑战第4天】Apache Log4j 是一个广泛使用的 Java 日志框架,它允许开发者控制日志信息的输出目的地、格式和级别。Log4j 包含三个主要组件:Loggers(记录器)负责生成日志信息,Appenders(输出源)确定日志输出的位置(如控制台、文件、数据库等),而 Layouts(布局)则控制日志信息的格式。通过配置 Log4j,可以灵活地定制日志记录行为。
33 4