日志服务-15分钟搞定NGINX访问日志分析

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,内容安全 1000 次 1年
文件存储 NAS,50GB 3个月
简介: 15分钟能做什么? 可能一本书只能看一个章节,慢慢品一杯咖啡才喝了一半,或许玩一把炉石传说。 日志服务11月份发布数据接入向导功能,如果平均一首歌的时间按3分钟计算,那么给我们5首歌的时间,我们一起来通过日志服务的数据接入向导快速玩转NGINX访问日志分析~

15分钟能做什么?

可能一本书只能看一个章节,慢慢品一杯咖啡才喝了一半,或许玩一把炉石传说。

日志服务11月份发布数据接入向导功能,如果平均一首歌的时间按3分钟计算,那么给我们5首歌的时间,我们一起来通过日志服务的数据接入向导快速玩转NGINX访问日志分析~

数据接入向导(Wizard)

一. 概述

日志服务在12月份推出了数据接入向导(Wizard)功能,快速完成数据的采集、存储、分析、离线投递, 降低用户使用日志服务门槛,目前支持的数据源以及支持配置如下:

数据源 Logtail采集配置 索引设置 自动生成仪表盘 离线投递
NGINX
MNS 消息服务
API网关
文本文件
syslog
Web Tracking
API/SDK
log4jAppender
Producer

二. 使用指引

如果你还没有使用过阿里云日志服务功能,可以参考五分钟快速入门

我们先以最常见的NGINX访问日志分析开头,来一起试一试如何快速接入该类数据源。

首先可以采用如下两种方式进入数据接入向导。

create_enter.png

  • 已存在Logstore点击列表中数据接入向导图标进入

has_enter.png

1. 选择数据类型

选择 自建软件 > NGINX

datasource.png

2. 数据源设置

a.按照实际情况填写配置名称和日志路径,填写实际的log_format信息到NGINX日志格式中。

log_format.png

日志服务会自动提取出相应的键名称。

注意:其中$request会被提取为request_methodrequest_uri两个键。

log_format2.png

b.应用到机器组

如果您之前没有创建过机器组,请先根据页面提示创建机器组

注意:Logtail配置推送生效时间最长需要3分钟,请耐心等待

3. 查询分析 & 可视化

确保日志机器组心跳正常的情况下,可以通过点击右侧预览按钮获取到采集上来的数据

preview.png

日志服务提供预设的数据键名称以便分析使用,可以选择实际数据键名称(根据预览数据生成)和默认数据键名称形成映射关系,nginx访问日志提供的预设数据键如下:

  • body_bytes_sent
  • bytes_sent
  • connection
  • connection_requests
  • msec
  • status
  • time_iso8601
  • time_local
  • content_length
  • content_type
  • host
  • hostname
  • remote_addr
  • remote_port
  • remote_user
  • request_length
  • request_method
  • request_time
  • upstream_response_time
  • request_uri
  • scheme
  • server_addr
  • server_name
  • server_port
  • server_protocol
  • http_user_agent
  • http_referer

各数据键释义可参考NGINX相关文档

indexs.png

点击下一步,日志服务会为您设置好索引属性并创建nginx-dashboard仪表盘以供分析使用。

3.1 分析访问日志

建立好仪表盘之后我们就可以快速分析访问日志了,可以通过左侧导航仪表盘进入分析页面。

image.png

  • PV/UV统计(pv_uv)

统计最近一天的PV数和UV数。

pv_uv.png

统计语句:

 * | select approx_distinct(remote_addr) as uv ,
        count(1) as pv , 
        date_format(date_trunc('hour', __time__), '%m-%d %H:%i')  as time
        group by date_format(date_trunc('hour', __time__), '%m-%d %H:%i')
        order by time
        limit 1000
  • 热点访问页面统计(top_page)

统计最近一天访问最多的20个页面。

top_page.png

统计语句:

* | select count(1) as pv,
        split_part(request_uri,'?',1) as path
        group by split_part(request_uri,'?',1) 
        order by pv desc 
        limit 20
  • 请求方法统计(http_method_percentage)

统计最近一天各种请求方法的占比。

http_method.png

统计语句:

* | select count(1) as pv,
        request_method
        group by request_method
  • http状态码统计(http_status_percentage)

统计最近一天各种http状态码的占比。

http_status.png

统计语句:

* | select count(1) as pv,
        status
        group by status
  • 客户端类型统计(user_agent)

统计最近一天各种浏览器的占比。

UA.png

统计语句:

* | select count(1) as pv,
    case when http_user_agent like '%Android%' then 'Android' 
    when http_user_agent like '%iPhone%' then 'iOS' else 'unKnown' end as http_user_agent
    group by case when http_user_agent like '%Android%' then 'Android' 
    when http_user_agent like '%iPhone%' then 'iOS' else 'unKnown' end   
    order by pv desc
    limit 10
  • 来源页面统计(top_10_referer)

统计最近一天referer来源于不同域名前十的占比。

referer.png

统计语句:

* | select count(1) as pv,
        http_referer
        group by http_referer
        order by pv desc

4. 投递 & ETL

除此之外还提供投递到MaxCompute(原ODPS)、OSS以及ETL服务,有兴趣的同学可参考对应帮助链接

shipper.png

总结

日志服务数据接入向导(Wizard)志在帮助用户快速接入各种日志场景,NGINX访问日志只是其中很小的一部分,各类数据源的接入也在不断更新,请拭目以待把~

c612daad0fa6b00f612323f0d400f416.gif


如有更多疑问欢迎加钉钉群号:11775223
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
4月前
|
域名解析 应用服务中间件 网络安全
阿里云个人博客外网访问中断应急指南:从安全组到日志的七步排查法
1. 检查安全组配置:确认阿里云安全组已开放HTTP/HTTPS端口,添加规则允许目标端口(如80/443),授权对象设为`0.0.0.0/0`。 2. 本地防火墙设置:确保服务器防火墙未阻止外部流量,Windows启用入站规则,Linux检查iptables或临时关闭防火墙测试。 3. 验证Web服务状态:检查Apache/Nginx/IIS是否运行并监听所有IP,使用命令行工具确认监听状态。 4. 测试网络连通性:使用外部工具和内网工具测试服务器端口是否开放,排除本地可访问但外网不可的问题。 5. 排查DNS解析:确认域名A记录指向正确公网IP,使用`ping/nslookup`验证解析正
157 2
|
8月前
|
安全 应用服务中间件 网络安全
如何测试Nginx反向代理实现SSL加密访问的配置是否正确?
如何测试Nginx反向代理实现SSL加密访问的配置是否正确?
455 60
|
8月前
|
安全 应用服务中间件 网络安全
配置Nginx反向代理实现SSL加密访问的步骤是什么?
我们可以成功地配置 Nginx 反向代理实现 SSL 加密访问,为用户提供更安全、可靠的网络服务。同时,在实际应用中,还需要根据具体情况进行进一步的优化和调整,以满足不同的需求。SSL 加密是网络安全的重要保障,合理配置和维护是确保系统安全稳定运行的关键。
526 60
|
7月前
|
应用服务中间件 Linux 网络安全
nginx安装部署ssl证书,同时支持http与https方式访问
为了使HTTP服务支持HTTPS访问,需生成并安装SSL证书,并确保Nginx支持SSL模块。首先,在`/usr/local/nginx`目录下生成RSA密钥、证书申请文件及自签名证书。接着,确认Nginx已安装SSL模块,若未安装则重新编译Nginx加入该模块。最后,编辑`nginx.conf`配置文件,启用并配置HTTPS服务器部分,指定证书路径和监听端口(如20000),保存后重启Nginx完成部署。
2468 8
|
7月前
|
监控 应用服务中间件 定位技术
要统计Nginx的客户端IP,可以通过分析Nginx的访问日志文件来实现
要统计Nginx的客户端IP,可以通过分析Nginx的访问日志文件来实现
608 4
|
8月前
|
Web App开发 算法 应用服务中间件
nginx开启局域网https访问
【10月更文挑战第22天】为了调试WebRTC功能,需要在局域网内搭建HTTPS协议。具体步骤包括:在已部署Nginx和安装OpenSSL的环境中生成私钥、证书签名请求和自签名证书;将生成的文件放置到Nginx的证书目录并修改Nginx配置文件,最后重启Nginx服务。注意,自签名证书不受第三方机构认可,如需正式使用,需向CA申请签名。
334 2
|
9月前
|
应用服务中间件 Shell PHP
windows系统配置nginx环境运行pbootcms访问首页直接404的问题
windows系统配置nginx环境运行pbootcms访问首页直接404的问题
|
10月前
|
设计模式 SQL 安全
PHP中的设计模式:单例模式的深入探索与实践在PHP的编程实践中,设计模式是解决常见软件设计问题的最佳实践。单例模式作为设计模式中的一种,确保一个类只有一个实例,并提供全局访问点,广泛应用于配置管理、日志记录和测试框架等场景。本文将深入探讨单例模式的原理、实现方式及其在PHP中的应用,帮助开发者更好地理解和运用这一设计模式。
在PHP开发中,单例模式通过确保类仅有一个实例并提供一个全局访问点,有效管理和访问共享资源。本文详细介绍了单例模式的概念、PHP实现方式及应用场景,并通过具体代码示例展示如何在PHP中实现单例模式以及如何在实际项目中正确使用它来优化代码结构和性能。
128 2
|
10月前
|
存储 监控 数据可视化
SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
【9月更文挑战第2天】SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
322 9
|
10月前
|
Ubuntu 应用服务中间件 数据库
Nginx配置:阻止非国内IP地址访问的设置方法
此外,出于用户隐私和法律合规性的考虑,应慎重考虑阻止特定国家或地区IP地址的决策。在某些情况下,这可能被视为歧视性或违反当地法律。
549 2

相关产品

  • 日志服务