CentOS7下搭建开源日志采集分析系统LogAnalyzer

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介: CentOS7下搭建开源日志采集分析系统LogAnalyzer

CentOS7下搭建日志采集分析系统LogAnalyzer


LogAnalyzer是一款Web界面syslog日志分析工具。它提供了对日志的简单浏览、搜索、基本分析和一些图表报告的功能。数据可以从数据库或一般的syslog文本文件中获取,所以LogAnalyzer不需要改变现有的记录架构。基于当前的日志数据,它可以处理syslog日志消息,Windows事件日志记录,支持故障排除,使用户能够快速查找日志数据


https://loganalyzer.adiscon.com/


640.png



感谢网友temptation的投稿


本文参考其文章完成:原文章链接https://www.cnblogs.com/iflytek/p/14403664.html

具体步骤如下


1、环境准备


CentOS7.6的服务器一台


IP:192.168.198.132 可以访问互联网,并关闭SELINUX

640.jpg

640.png



2、脚本方式完成HTTP+PHP+MySQL+LogAnalyzer的部署


上传脚本及相关文件至/opt目录下


cd /opt
tar -zxvf rsyslog_and_loganalyzer.tar.gz 
sh loganalyzer.sh


640.jpg


其中loganalyzer.sh脚本内容如下


[root@localhost opt]# cat loganalyzer.sh 
#!/bin/bash
wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
sed -i -e '/mirrors.cloud.aliyuncs.com/d' -e '/mirrors.aliyuncs.com/d' /etc/yum.repos.d/CentOS-Base.repo
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
cat >  /etc/yum.repos.d/mysql-community.repo << "EOF"
[mysql-connectors-community]
name=MySQL Connectors Community
baseurl=https://mirrors.tuna.tsinghua.edu.cn/mysql/yum/mysql-connectors-community-el7-$basearch/
enabled=1
gpgcheck=1
gpgkey=https://repo.mysql.com/RPM-GPG-KEY-mysql
[mysql-tools-community]
name=MySQL Tools Community
baseurl=https://mirrors.tuna.tsinghua.edu.cn/mysql/yum/mysql-tools-community-el7-$basearch/
enabled=1
gpgcheck=1
gpgkey=https://repo.mysql.com/RPM-GPG-KEY-mysql
[mysql-5.7-community]
name=MySQL 5.7 Community Server
baseurl=https://mirrors.tuna.tsinghua.edu.cn/mysql/yum/mysql-5.7-community-el7-$basearch/
enabled=1
gpgcheck=1
gpgkey=https://repo.mysql.com/RPM-GPG-KEY-mysql
EOF
yum clean all
yum makecache
yum install mysql-community-server.x86_64 -y
systemctl start mysqld
systemctl enable mysqld
netstat -anp | grep 3306
ps -ef | grep mysql
echo "----------获取MySQL的root用户初始密码----------------"
grep "temporary password" /var/log/mysqld.log
echo "----------设置MySQL的root设置新密码----------------"
echo "----------请设置新密码为MySQL@2021----------------"
mysql_secure_installation 
echo "----------安装rsyslog-mysql并替换rsyslog.conf----------------"
yum -y install rsyslog-mysql
mv /etc/rsyslog.conf /etc/rsyslog.conf_bak
cp /opt/rsyslog.conf_template /etc/rsyslog.conf
systemctl restart rsyslog.service
mysql -uroot -pMySQL@2021 <  /usr/share/doc/rsyslog-8.24.0/mysql-createDB.sql 
echo "----------登录MySQL创建rsyslog库----------------"
echo "create database rsyslog character set utf8 collate utf8_bin;"| mysql -uroot -pMySQL@2021
echo "grant all privileges on Syslog.* to 'rsyslog'@'%' identified by 'Rsyslog@2021'; "|mysql -uroot -pMySQL@2021
echo "grant all privileges on rsyslog.* to 'rsyslog'@'localhost' identified by 'Rsyslog@2021'; "|mysql -uroot -pMySQL@2021
echo "flush privileges;"|mysql -uroot -pMySQL@2021
yum -y install httpd php php-mysql php-gd 
cd /opt/
tar -zxvf loganalyzer-4.1.11.tar.gz
echo "----------解压并配置loganalyzer----------------"
mkdir -p /var/log/httpd/log
mkdir -p /var/www/html/log
cp -rf /opt/loganalyzer-4.1.11/src/* /var/www/html/log 
cp -rf /opt/loganalyzer-4.1.11/contrib/* /var/www/html/log
cd /var/www/html/log
chmod +x configure.sh secure.sh
sh configure.sh
chmod 666 config.php
chown -R apache.apache *
systemctl start httpd
systemctl enable httpd
systemctl status httpd
echo "----------请登录web初始化loganalyzer:http://IP:/log----------------"


脚本并非全自动化,需要在执行过程中需要重新设置MySQL的root密码


640.jpg


其中rsyslog.conf_template 做了如下修改

640.png


3、登录web初始化loganalyzer

640.jpg

640.jpg

640.jpg

640.jpg


用户数据库连接配置 DatabaseName:Syslog  


#注意我这里使用的是Syslog,当然你也可以用之前脚本中创建的rsyslog库  


Database User:rsyslog


Database Password:Rsyslog@2021

640.jpg640.jpg

640.jpg

640.jpg


日志数据库  


Database Name:Syslog  

Database Tablename:SystemEvents (注意大小写)

Database User:rsyslog  

Database Password:Rsyslog@2021


640.jpg


4、测试主机debian配置rsyslog转发

640.jpg

5、loganalyzer使用截图


主界面

640.jpg


(图片可放大查看)

数据统计


640.jpg

日志关键字搜索


640.jpg


相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
1月前
|
存储 数据采集 数据处理
【Flume拓扑揭秘】掌握Flume的四大常用结构,构建强大的日志收集系统!
【8月更文挑战第24天】Apache Flume是一个强大的工具,专为大规模日志数据的收集、聚合及传输设计。其核心架构包括源(Source)、通道(Channel)与接收器(Sink)。Flume支持多样化的拓扑结构以适应不同需求,包括单层、扇入(Fan-in)、扇出(Fan-out)及复杂多层拓扑。单层拓扑简单直观,适用于单一数据流场景;扇入结构集中处理多源头数据;扇出结构则实现数据多目的地分发;复杂多层拓扑提供高度灵活性,适合多层次数据处理。通过灵活配置,Flume能够高效构建各种规模的数据收集系统。
30 0
|
26天前
|
Linux pouch 容器
CentOS7部署阿里巴巴开源的pouch容器管理工具实战
关于如何在CentOS 7.6操作系统上安装和使用阿里巴巴开源的Pouch容器管理工具的实战教程。
64 2
CentOS7部署阿里巴巴开源的pouch容器管理工具实战
|
1月前
|
存储 消息中间件 人工智能
AI大模型独角兽 MiniMax 基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志系统,PB 数据秒级查询响应
早期 MiniMax 基于 Grafana Loki 构建了日志系统,在资源消耗、写入性能及系统稳定性上都面临巨大的挑战。为此 MiniMax 开始寻找全新的日志系统方案,并基于阿里云数据库 SelectDB 版内核 Apache Doris 升级了日志系统,新系统已接入 MiniMax 内部所有业务线日志数据,数据规模为 PB 级, 整体可用性达到 99.9% 以上,10 亿级日志数据的检索速度可实现秒级响应。
AI大模型独角兽 MiniMax 基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志系统,PB 数据秒级查询响应
|
8天前
|
缓存 监控 算法
分析慢日志文件来优化 PHP 脚本的性能
分析慢日志文件来优化 PHP 脚本的性能
|
1月前
|
缓存 NoSQL Linux
【Azure Redis 缓存】Windows和Linux系统本地安装Redis, 加载dump.rdb中数据以及通过AOF日志文件追加数据
【Azure Redis 缓存】Windows和Linux系统本地安装Redis, 加载dump.rdb中数据以及通过AOF日志文件追加数据
【Azure Redis 缓存】Windows和Linux系统本地安装Redis, 加载dump.rdb中数据以及通过AOF日志文件追加数据
|
24天前
|
JSON 缓存 fastjson
一行日志引发的系统异常
本文记录了一行日志引发的系统异常以及作者解决问题的思路。
08-06-06>pe_xscan 精简log分析代码 速度提升一倍
08-06-06>pe_xscan 精简log分析代码 速度提升一倍
|
1天前
|
Kubernetes API Docker
跟着iLogtail学习容器运行时与K8s下日志采集方案
iLogtail 作为开源可观测数据采集器,对 Kubernetes 环境下日志采集有着非常好的支持,本文跟随 iLogtail 的脚步,了解容器运行时与 K8s 下日志数据采集原理。
|
1月前
|
存储 分布式计算 大数据
【Flume的大数据之旅】探索Flume如何成为大数据分析的得力助手,从日志收集到实时处理一网打尽!
【8月更文挑战第24天】Apache Flume是一款高效可靠的数据收集系统,专为Hadoop环境设计。它能在数据产生端与分析/存储端间搭建桥梁,适用于日志收集、数据集成、实时处理及数据备份等多种场景。通过监控不同来源的日志文件并将数据标准化后传输至Hadoop等平台,Flume支持了性能监控、数据分析等多种需求。此外,它还能与Apache Storm或Flink等实时处理框架集成,实现数据的即时分析。下面展示了一个简单的Flume配置示例,说明如何将日志数据导入HDFS进行存储。总之,Flume凭借其灵活性和强大的集成能力,在大数据处理流程中占据了重要地位。
34 3
|
1月前
|
存储 监控 数据可视化
在Linux中,如何查看系统日志?
在Linux中,如何查看系统日志?