CentOS7下搭建开源日志采集分析系统LogAnalyzer

本文涉及的产品
RDSClaw,2核4GB
RDS DuckDB + QuickBI 企业套餐,8核32GB + QuickBI 专业版
RDS MySQL DuckDB 分析主实例,集群系列 4核8GB
简介: CentOS7下搭建开源日志采集分析系统LogAnalyzer

CentOS7下搭建日志采集分析系统LogAnalyzer


LogAnalyzer是一款Web界面syslog日志分析工具。它提供了对日志的简单浏览、搜索、基本分析和一些图表报告的功能。数据可以从数据库或一般的syslog文本文件中获取,所以LogAnalyzer不需要改变现有的记录架构。基于当前的日志数据,它可以处理syslog日志消息,Windows事件日志记录,支持故障排除,使用户能够快速查找日志数据


https://loganalyzer.adiscon.com/


640.png



感谢网友temptation的投稿


本文参考其文章完成:原文章链接https://www.cnblogs.com/iflytek/p/14403664.html

具体步骤如下


1、环境准备


CentOS7.6的服务器一台


IP:192.168.198.132 可以访问互联网,并关闭SELINUX

640.jpg

640.png



2、脚本方式完成HTTP+PHP+MySQL+LogAnalyzer的部署


上传脚本及相关文件至/opt目录下


cd /opt
tar -zxvf rsyslog_and_loganalyzer.tar.gz 
sh loganalyzer.sh


640.jpg


其中loganalyzer.sh脚本内容如下


[root@localhost opt]# cat loganalyzer.sh 
#!/bin/bash
wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
sed -i -e '/mirrors.cloud.aliyuncs.com/d' -e '/mirrors.aliyuncs.com/d' /etc/yum.repos.d/CentOS-Base.repo
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo
cat >  /etc/yum.repos.d/mysql-community.repo << "EOF"
[mysql-connectors-community]
name=MySQL Connectors Community
baseurl=https://mirrors.tuna.tsinghua.edu.cn/mysql/yum/mysql-connectors-community-el7-$basearch/
enabled=1
gpgcheck=1
gpgkey=https://repo.mysql.com/RPM-GPG-KEY-mysql
[mysql-tools-community]
name=MySQL Tools Community
baseurl=https://mirrors.tuna.tsinghua.edu.cn/mysql/yum/mysql-tools-community-el7-$basearch/
enabled=1
gpgcheck=1
gpgkey=https://repo.mysql.com/RPM-GPG-KEY-mysql
[mysql-5.7-community]
name=MySQL 5.7 Community Server
baseurl=https://mirrors.tuna.tsinghua.edu.cn/mysql/yum/mysql-5.7-community-el7-$basearch/
enabled=1
gpgcheck=1
gpgkey=https://repo.mysql.com/RPM-GPG-KEY-mysql
EOF
yum clean all
yum makecache
yum install mysql-community-server.x86_64 -y
systemctl start mysqld
systemctl enable mysqld
netstat -anp | grep 3306
ps -ef | grep mysql
echo "----------获取MySQL的root用户初始密码----------------"
grep "temporary password" /var/log/mysqld.log
echo "----------设置MySQL的root设置新密码----------------"
echo "----------请设置新密码为MySQL@2021----------------"
mysql_secure_installation 
echo "----------安装rsyslog-mysql并替换rsyslog.conf----------------"
yum -y install rsyslog-mysql
mv /etc/rsyslog.conf /etc/rsyslog.conf_bak
cp /opt/rsyslog.conf_template /etc/rsyslog.conf
systemctl restart rsyslog.service
mysql -uroot -pMySQL@2021 <  /usr/share/doc/rsyslog-8.24.0/mysql-createDB.sql 
echo "----------登录MySQL创建rsyslog库----------------"
echo "create database rsyslog character set utf8 collate utf8_bin;"| mysql -uroot -pMySQL@2021
echo "grant all privileges on Syslog.* to 'rsyslog'@'%' identified by 'Rsyslog@2021'; "|mysql -uroot -pMySQL@2021
echo "grant all privileges on rsyslog.* to 'rsyslog'@'localhost' identified by 'Rsyslog@2021'; "|mysql -uroot -pMySQL@2021
echo "flush privileges;"|mysql -uroot -pMySQL@2021
yum -y install httpd php php-mysql php-gd 
cd /opt/
tar -zxvf loganalyzer-4.1.11.tar.gz
echo "----------解压并配置loganalyzer----------------"
mkdir -p /var/log/httpd/log
mkdir -p /var/www/html/log
cp -rf /opt/loganalyzer-4.1.11/src/* /var/www/html/log 
cp -rf /opt/loganalyzer-4.1.11/contrib/* /var/www/html/log
cd /var/www/html/log
chmod +x configure.sh secure.sh
sh configure.sh
chmod 666 config.php
chown -R apache.apache *
systemctl start httpd
systemctl enable httpd
systemctl status httpd
echo "----------请登录web初始化loganalyzer:http://IP:/log----------------"


脚本并非全自动化,需要在执行过程中需要重新设置MySQL的root密码


640.jpg


其中rsyslog.conf_template 做了如下修改

640.png


3、登录web初始化loganalyzer

640.jpg

640.jpg

640.jpg

640.jpg


用户数据库连接配置 DatabaseName:Syslog  


#注意我这里使用的是Syslog,当然你也可以用之前脚本中创建的rsyslog库  


Database User:rsyslog


Database Password:Rsyslog@2021

640.jpg640.jpg

640.jpg

640.jpg


日志数据库  


Database Name:Syslog  

Database Tablename:SystemEvents (注意大小写)

Database User:rsyslog  

Database Password:Rsyslog@2021


640.jpg


4、测试主机debian配置rsyslog转发

640.jpg

5、loganalyzer使用截图


主界面

640.jpg


(图片可放大查看)

数据统计


640.jpg

日志关键字搜索


640.jpg


相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
相关文章
WGLOG日志管理系统是怎么收集日志的
WGLOG通过部署Agent客户端采集日志,Agent持续收集指定日志文件并上报Server,Server负责展示与分析。Agent与Server需保持相同版本。官网下载地址:www.wgstart.com
|
7月前
|
Prometheus 监控 Cloud Native
基于docker搭建监控系统&日志收集
Prometheus 是一款由 SoundCloud 开发的开源监控报警系统及时序数据库(TSDB),支持多维数据模型和灵活查询语言,适用于大规模集群监控。它通过 HTTP 拉取数据,支持服务发现、多种图表展示(如 Grafana),并可结合 Loki 实现日志聚合。本文介绍其架构、部署及与 Docker 集成的监控方案。
705 122
基于docker搭建监控系统&日志收集
|
7月前
|
监控 安全 搜索推荐
使用EventLog Analyzer进行日志取证分析
EventLog Analyzer助力企业通过集中采集、归档与分析系统日志及syslog,快速构建“数字犯罪现场”,精准追溯安全事件根源。其强大搜索功能可秒级定位入侵时间、人员与路径,生成合规与取证报表,确保日志安全防篡改,大幅提升调查效率,为执法提供有力证据支持。
281 0
|
7月前
|
Ubuntu
在Ubuntu系统上设置syslog日志轮替与大小限制
请注意,在修改任何系统级别配置之前,请务必备份相应得原始档案并理解每项变更可能带来得影响。
919 2
|
9月前
|
监控 安全 NoSQL
【DevOps】Logstash详解:高效日志管理与分析工具
Logstash是ELK Stack核心组件之一,具备强大的日志收集、处理与转发能力。它支持多种数据来源,提供灵活的过滤、转换机制,并可通过插件扩展功能,广泛应用于系统日志分析、性能优化及安全合规等领域,是现代日志管理的关键工具。
1386 0
|
9月前
|
存储
WGLOG日志管理系统可以采集网络设备的日志吗
WGLOG日志审计系统提供开放接口,支持外部获取日志内容后发送至该接口,实现日志的存储与分析。详情请访问:https://www.wgstart.com/wglog/docs9.html
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
4731 32
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
554 9
|
11月前
|
监控 容灾 算法
阿里云 SLS 多云日志接入最佳实践:链路、成本与高可用性优化
本文探讨了如何高效、经济且可靠地将海外应用与基础设施日志统一采集至阿里云日志服务(SLS),解决全球化业务扩展中的关键挑战。重点介绍了高性能日志采集Agent(iLogtail/LoongCollector)在海外场景的应用,推荐使用LoongCollector以获得更优的稳定性和网络容错能力。同时分析了多种网络接入方案,包括公网直连、全球加速优化、阿里云内网及专线/CEN/VPN接入等,并提供了成本优化策略和多目标发送配置指导,帮助企业构建稳定、低成本、高可用的全球日志系统。
1100 54
下一篇
开通oss服务