goaccess 分析nginx log

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 统计AP 使用峰值。客户端访问AP 是通过Nginx 代理实现的。因此可以从Nginx的log着手分析,配合管道命令可以定向分析某些具体请求或者某段时间的nginx log,因此通过goaccess 来分析Nginx可满足需求。

一、需求背景

统计AP 使用峰值。客户端访问AP 是通过Nginx 代理实现的。因此可以从Nginx的log着手分析,配合管道命令可以定向分析某些具体请求或者某段时间的nginx log,因此通过goaccess 来分析Nginx可满足需求。

二、安装

安装goaccess之前唯一需要依赖的包是ncurses。

1、tar xvf goaccess-1.2.tar.gz -C /usr/local
这里请注意,将解压文件压在/use/local 的原因是
有的依赖库会找不到而报错
例如
: Failed dependencies:  GeoIP = 1.6.5-1.el6 is needed by GeoIP-devel-1.6.5-1
这个浪费了我快3个小时,从github上把geoip的项目clone下来也没有解决,最后是使用-C 参数将/usr/local下。
2、cd goaccess-1.2/
3、 ./configure --enable-utf8 --enable-geoip=legacy
4、 make
5、 make install

3 4 5步骤分别是什么意思呢?

第一步:./configure
首先检查机器的一些配置和环境,系统的相关依赖。如果缺少相关依赖,脚本会停止执行,软件安装失败
根据之前检查环境和依赖的结果,生产Makefile文件(main job)
第二步:make
make是Unix系统下的一个包。执行make命令需Makefile文件。make会根据Makefile文件中指令来安装软件
Makefile文件中有许多标签,来表示不同的section。一般的,make会编译源代码并生成可执行文件,其实Makefile主要就是描述文件编译的相互依赖关系
第三步:make install
当执行make命令不加任何参数,程序就会按照Makefile的指令在相应的section间跳转并且执行相应的命令
加上install参数即执行make install时,程序只会执行install section处的命令。install section的指令会将make阶段生产的可执行文件拷贝到相应的地方,例如/usr/local/bin
make clean 会删除上次make生产的obj文件以及可执行文件

三、分析静态

具体其他参数详见 这里

goaccess -a -d -f /usr/local/nginx/logs/access-2020-05-18_151.log -p ./config/goaccess.conf >/tmp/out.html 

四、动态分析

关键参数 :--real-time-html  实时通过websocket 协议将分析结果推送给客户端。

#!/bin/bash
#desc: generate html with goaccess based on nginx log 
#author :ninesun
#parp: null
cd  /usr/local/goaccess-1.2/
LANG="zh_CN.UTF-8"
goaccess /usr/local/nginx/logs/access.log -o /opt/goaccess/html/out.html  --time-format='%H:%M:%S'  --date-format='%d/%b/%Y' --log-format=COMBINED --real-time-html

执行该脚本后,会提示

goaccess]# ps -ef|grep goacc
root      8757  8755  7 11:23 pts/1    00:00:08 goaccess /usr/local/nginx/logs/access.log -o /opt/goaccess/html/out.html --time-format=%H:%M:%S --date-format=%d/%b/%Y --log-format=COMBINED --real-time-html

WebSocket server ready to accept new client connections


服务端目前已经ok了,现在在nginx中配置客户端请求路径。使用nginx代理websocket 请求。

#ninesun add 2020年5月20日17:04:31
    location /out.html {                                                                                                                           
            alias /opt/goaccess/html/out.html;
      auth_basic "请输入用户名和密码!"; #这里是验证时的提示信息
      auth_basic_user_file /opt/goaccess/html/out_passwd; #这是你生成密码存放的文件
      proxy_http_version 1.1; # 这三行是为了实现websocket
      proxy_set_header Upgrade $http_upgrade;
      proxy_set_header Connection "upgrade";    
        }

为了安全性,使用 htpasswd 生成秘钥。

htpasswd -c /opt/goaccess/html/out_passwd test

设置好密码后登陆即可以实时查看了。

在这里我一直有一个疑问,websocket 如何和客户端交互?

socket 是实时将数据发送给客户端的。

参考 :

https://www.ctolib.com/goaccess.html

https://goaccess.io/man#examples

https://www.robberphex.com/why-is-connection-upgrade-necessary/

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
18天前
|
SQL 关系型数据库 MySQL
MySQL事务日志-Undo Log工作原理分析
事务的持久性是交由Redo Log来保证,原子性则是交由Undo Log来保证。如果事务中的SQL执行到一半出现错误,需要把前面已经执行过的SQL撤销以达到原子性的目的,这个过程也叫做"回滚",所以Undo Log也叫回滚日志。
MySQL事务日志-Undo Log工作原理分析
|
26天前
|
存储 运维 监控
Linux--深入理与解linux文件系统与日志文件分析
深入理解 Linux 文件系统和日志文件分析,对于系统管理员和运维工程师来说至关重要。文件系统管理涉及到文件的组织、存储和检索,而日志文件则记录了系统和应用的运行状态,是排查故障和维护系统的重要依据。通过掌握文件系统和日志文件的管理和分析技能,可以有效提升系统的稳定性和安全性。
46 7
|
28天前
|
监控 安全 Linux
启用Linux防火墙日志记录和分析功能
为iptables启用日志记录对于监控进出流量至关重要
|
1月前
|
监控 应用服务中间件 定位技术
要统计Nginx的客户端IP,可以通过分析Nginx的访问日志文件来实现
要统计Nginx的客户端IP,可以通过分析Nginx的访问日志文件来实现
146 3
|
3月前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1787 14
MySQL事务日志-Redo Log工作原理分析
|
2月前
|
存储 SQL 监控
|
2月前
|
运维 监控 安全
|
2月前
|
监控 关系型数据库 MySQL
分析慢查询日志
【10月更文挑战第29天】分析慢查询日志
66 3
|
2月前
|
监控 关系型数据库 数据库
怎样分析慢查询日志?
【10月更文挑战第29天】怎样分析慢查询日志?
89 2
|
3月前
|
存储 消息中间件 大数据
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
63 4

热门文章

最新文章