总结之:CentOS 6.5 rsyslog+MySQL+loganalyzer日志集中分析管理

简介:
+关注继续查看

前言
   rsyslog系统日志,在CentOS5上叫syslog,而在CentOS6上叫rsyslog,叫增强版的syslog,CentOS5上的配置文件在/etc/syslog.conf下,而CentOS6在/etc/rsyslog.conf下。
   syslog默认是把我们的日志放到文件、用户、日志服务器、管道中。
   rsyslog在syslog的基础上还多了一条途径,允许把日志放到mysql数据中。

   rsyslog比syslog好在哪里:
   Multi-threading:多线程
   TCP, SSL, TLS, RELP:支持tcp协议,ssh加密,支持RCLP协议
   MySQL, PostgreSQL, Oracle and more:支持日志存放在这些数据库中
   Filter any part of syslog message:支持自定义过滤器过滤一些信息
   Fully configurable output format:支持输出格式的完全自定义
   Suitable for enterprise-class relay chains:并且特别适用于企业级的日志收集

   日志是什么:通俗来讲就是记录过去所发生过的历史信息,而我们的系统日志有多种,比如说有错误日志、二进制日志、事物日志、中断日志、查询日志等,在这些日志中,除了事物日志,绝大多数据的日志都叫做历史日志,记录了我们系统中过去一段时间所发生的事情。

   日志有日志级别:priority优先级
   debug:调试,所谓调试就是不分轻重缓急,只要发生了就一律记录下来
   info:任何时候程序正常输出的信息,而不是说调试信息,都记录下来,如果定义了一个级别后这个级别以及比这个级别高的的级别都会被记录下来的。
   notice:注意,提醒用户要注意了
   warning:警告,提醒用户说可能会发生一些比较严重的问题了
   err:某个功能发有错误发生,必须要进行处理的
   crit:比err更严重了,现在不处理可能过一会就要挂了
   alert:红色警报,比crit更严重,需要马上处理
   emerg,panic:立马挂掉

   我们系统上运行了行行色色的软件,有很多都是服务级别的软件,这些软件都有可以产生日志,那日志记哪去,由谁来记录,记到哪个文件当中,记录哪个级别,如果都一个程序的日志都需要自己去定义,那就变得非常的麻烦,而绝大多数软件的日志信息都比较简单,没必要说自己去定义管理自己的日志,那由此我们就用到syslog,他是个服务,什么事也不干,他有两个进程,syslogd和klogd,一个是记录系统级别的日志信息,一个是记录内核级别的日志信息,而syslog他本身运行为一个服务,如果有人需要记录日志的话就把日志发给syslog,由syslog来帮记录,至于记录到哪去由syslog自己来判定,所以可以把他理解成是一个日志的框架,他是为了实现某种特定功能、为了承接各种用到这种功能的软件,而且能够实现低层帮更多软件记录日志的这么一种机制的,还有如果日志过多,那我们日后查找日志也不方便,那我们就要把日志分类管理了,这就是所说的设施(facility)了,从功能可程序上对日志信息进行分类,

   LogAnalyzer 是一个 syslog 和其他网络事件数据的 Web 前端工具,提供简单易用的日志浏览、搜索和基本分析以及图表显示读取到的日志进行分析的,一般我们都使用数据库的loganalyzer结合起来分析管理集中日志。

实现rsyslog日志集中到mysql+loganalyzer管理分析
   1、安装mysql,这个安装过程这里不再说明,前面的博文中我们已经详细说过了,可以参考博文:总结之:CentOS 6.5 LAMP分主机平台的搭建及测试http://tanxw.blog.51cto.com/4309543/1386381,这里有详细的安装过程。

   1、安装loganalyzer    

1
2
3
4
5
6
7
8
9
10
11
12
13
# tar xvzf loganalyzer-3.6.4.tar.gz
# cd loganalyzer-3.6.4
# mkdir /usr/local/apache/htdocs/syslog
把这两个src、contrib目录下的所有文件移动你本机能解析PHP路径下的web路径下。
# mv src/* /usr/local/apache/htdocs/syslog/
# mv contrib/* /usr/local/apache/htdocs/syslog/
# chmod u+x /usr/local/apache/htdocs/syslog/*.sh
# cd /usr/local/apache/htdocs/syslog/
# ./configure.sh
# ./secure.sh
# chmod 666 config.php
把这个目录下的所有文件的属主属组都改为apache运行的进程名
# chown -R daemon.daemon *

   wKioL1NEpGDQn7OHAABhn1HJinw895.jpg

       

    2、编辑rsyslog的配置文件    

1
2
3
4
5
6
7
8
9
10
11
# vim /etc/rsyslog.conf
$ModLoad ommysql 这一项必须定义在Module一段中
ommysql:这个表示装载的模块名;Syslog表示数据名;rsysloguser,rsyslogpass这两个是用户和密码
*.*     :ommysql:127.0.0.1,Syslog,rsysloguser,rsyslogpass
                                                                                                                                                                    
接着安装要rsyslog-mysql、php和php-mysql并导入数据定义的脚本,/usr/share/doc/rsyslog-mysql/createDB.sql
# yum -y install php php-mysql
# yum -y install rsyslog-mysql
# cd /usr/share/doc/rsyslog-mysql-5.8.10/
导入数据库
# mysql < /usr/share/doc/rsyslog-mysql/createDB.sql

   wKiom1NEpJzi9ewYAAEpmEmwU8U559.jpg  

 

   3、登录数据库,给用户rsysloguser授权,密码为rsyslogpass    

1
2
3
4
# mysql
mysql> GRANT ALL ON Syslog.* TO 'rsysloguser'@'127.0.0.1' IDENTIFIED BY 'rsyslogpass';
mysql> GRANT ALL ON Syslog.* TO 'rsysloguser'@'localhost' IDENTIFIED BY 'rsyslogpass';
mysql> FLUSH PRIVILEGES;

   wKioL1NEpJaQE_oZAAFzxR4tUwU989.jpg

   wKioL1NEpLCyj3-XAAFNhR7CUF8082.jpg


   启动服务,页面上输入地址测试安装:

   # service rsyslog start

   如果安装好之后连接不上数据库,提示说不能通过/var/lib/mysql/mysql.sock连接数据,那就在/var/lib/下创建mysql目录文件,再把/tmp/mysql.sock套接字文件链接到/var/lib/mysql/目录下去就可以连接上了:

   # mkdir /var/lib/mysql

   # ln -s /tmp/mysql.sock /var/lib/mysql/

   http://172.16.27.1/syslog    wKioL1NEpTLilQDZAAEqQpIWzO8493.jpg

wKiom1NEpYKimGNeAAJkW4JXpb8565.jpg

wKioL1NEpXSR-hkoAAG7SdV0dgo695.jpg

wKiom1NEpbOigAQ1AAGqCntplI4343.jpg

wKiom1NEpdHj9EjxAAHwHgHWqKQ274.jpg

wKiom1NEpeyCj2jwAAC4NlqqK4k574.jpg

wKioL1NEphnDl82gAAh1Eqik-fo296.jpg


结束:

   整理了一些操作步骤,对日志的集中式存放和管理,放在mysql数据库中是很好管理和分析的,这个页面也很直观的看出了这些日志信息,在此,大神有什么觉得不妥的万望指出哦,在此先谢谢你的关注了。










本文转自 wei0164 51CTO博客,原文链接:http://blog.51cto.com/tanxw/1392591,如需转载请自行联系原作者
相关实践学习
基于CentOS快速搭建LAMP环境
本教程介绍如何搭建LAMP环境,其中LAMP分别代表Linux、Apache、MySQL和PHP。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
相关文章
|
15天前
|
消息中间件 分布式计算 大数据
大数据Spark实时搜索日志实时分析
大数据Spark实时搜索日志实时分析
27 1
|
17天前
|
监控 安全 BI
使用日志服务SLS进行OSS可观测分析
本场景主要介绍如何使用SLS提供的CloudLens for OSS功能针对对象存储OSS进行可观测分析,包括资源用量、访问分析、安全分析、异常检测等角度。
158 0
|
26天前
|
关系型数据库 物联网 PostgreSQL
沉浸式学习PostgreSQL|PolarDB 11: 物联网(IoT)、监控系统、应用日志、用户行为记录等场景 - 时序数据高吞吐存取分析
物联网场景, 通常有大量的传感器(例如水质监控、气象监测、新能源汽车上的大量传感器)不断探测最新数据并上报到数据库. 监控系统, 通常也会有采集程序不断的读取被监控指标(例如CPU、网络数据包转发、磁盘的IOPS和BW占用情况、内存的使用率等等), 同时将监控数据上报到数据库. 应用日志、用户行为日志, 也就有同样的特征, 不断产生并上报到数据库. 以上数据具有时序特征, 对数据库的关键能力要求如下: 数据高速写入 高速按时间区间读取和分析, 目的是发现异常, 分析规律. 尽量节省存储空间
210 1
|
2月前
feign如何开启日志及分析
feign如何开启日志及分析
63 0
|
3月前
|
JSON API 数据安全/隐私保护
【Django学习】(十五)API接口文档平台_项目流程分析_日志器_认证_授权
【Django学习】(十五)API接口文档平台_项目流程分析_日志器_认证_授权
|
3月前
|
缓存 算法 Java
JVM学习日志(七) 如何判断对象可以回收可达性分析算法
如何判断对象可以回收可达性分析算法 简述
79 0
JVM学习日志(七) 如何判断对象可以回收可达性分析算法
|
3月前
|
监控 数据可视化 Oracle
分析GC日志解读
分析GC日志解读
|
5月前
|
应用服务中间件 nginx 索引
《2021 阿里云可观测技术峰会演讲实录合辑(下)》——一、基于OPLG从0到1构建统一可观测平台实践——场景实践3:基于Loki的日志查询分析
《2021 阿里云可观测技术峰会演讲实录合辑(下)》——一、基于OPLG从0到1构建统一可观测平台实践——场景实践3:基于Loki的日志查询分析
|
5月前
|
弹性计算 监控 数据挖掘
《阿里云认证的解析与实战-数据仓库ACP认证》——云上数据仓库的架构方案——一、AnalyticDB助力客户行为日志实时分析
《阿里云认证的解析与实战-数据仓库ACP认证》——云上数据仓库的架构方案——一、AnalyticDB助力客户行为日志实时分析
推荐文章
更多