日志服务-分隔符模式配置Nginx日志采集

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介:

日志服务支持通过数据接入向导配置采集Nginx日志,并自动创建索引和Nginx日志仪表盘,帮助您快速采集并分析Nginx日志。
参考:
https://help.aliyun.com/document_detail/28988.html
https://help.aliyun.com/document_detail/56728.html
下面介绍另一种方式,用分隔符模式采集Nginx日志。

背景信息

使用nginx log_format配置采集,会根据log_format生成正则,因为一些特殊字段,生成的正则可能会和原始日志不匹配,而用分隔符模式采集就会避免这个问题。

安装Nginx

相关命令

安装Nginx

sudo yum install nginx

查看Nginx版本

nginx -v

设置Nginx开机启动

sudo systemctl enable nginx

启动Nginx

sudo systemctl start nginx

重启Nginx

sudo systemctl restart nginx

检查Nginx运行状态

sudo systemctl status nginx

编辑配置文件

vim /etc/nginx/nginx.conf

日志路径

/var/log/nginx/access.log

用分隔符配置log_format

这个里分隔符设置为|#|

log_format main  '$remote_addr|#|$remote_user|#|$time_local|#|$request|#|'
                '$request_time|#|$request_length|#|'
                '$status|#|$body_bytes_sent|#|$http_referer|#|'
                '$http_user_agent';

nginx.conf配置截图
image.png


日志样例

127.0.0.1|#|-|#|13/Apr/2020:09:44:41 +0800|#|GET /1 HTTP/1.1|#|0.000|#|74|#|404|#|3650|#|-|#|curl/7.29.0

配置日志采集

1. 登录

日志服务控制台

2. 选择数据源类型

采集分隔符日志请选择分隔符-文本日志

3. 选择日志空间

请选择Project和Logstore,您也可以直接单击立即创建新建Project和Logstore。具体步骤请参见准备流程
如果您是通过日志库下的数据接入后的加号进入采集配置流程,系统会直接跳过该步骤。

4. 创建机器组

在创建机器组之前,您需要首先确认已经安装了Logtail。

5. 安装完Logtail后单击确认安装完毕创建机器组

具体请参见简介。如果您之前已经创建好机器组 ,请直接单击使用现有机器组

6. 机器组配置

选择一个机器组,将该机器组从源机器组移动到应用机器组

image.png

7. Logtail配置

将上文的日志样例粘贴到下图的对应位置中,分隔符选择自定义,设置为|#|,在key上依次填入字段名,点击保存。

image.png
image.png
分隔符详细配置参考:
https://help.aliyun.com/document_detail/31724.html

8. 查询分析配置

查询日志需要开启索引,点击“开启索引”,再点击确定,如果预览可以看到数据,可以点击自动生成索引。


9. 视频

https://v.youku.com/v_show/id_XNDY2NzkxNzQxMg==.html

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
2月前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
406 30
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
23天前
|
SQL
南大通用GBase 8a配置gcware日志等级,减少日志输出,节省磁盘IO
南大通用GBase 8a配置gcware日志等级,减少日志输出,节省磁盘IO
|
1月前
|
存储 Prometheus 监控
Docker容器内进行应用调试与故障排除的方法与技巧,包括使用日志、进入容器检查、利用监控工具及检查配置等,旨在帮助用户有效应对应用部署中的挑战,确保应用稳定运行
本文深入探讨了在Docker容器内进行应用调试与故障排除的方法与技巧,包括使用日志、进入容器检查、利用监控工具及检查配置等,旨在帮助用户有效应对应用部署中的挑战,确保应用稳定运行。
40 5
|
3月前
|
网络协议 Linux Windows
Rsyslog配置不同端口收集不同设备日志
Rsyslog配置不同端口收集不同设备日志
|
监控 应用服务中间件 Android开发
日志服务-15分钟搞定NGINX访问日志分析
15分钟能做什么? 可能一本书只能看一个章节,慢慢品一杯咖啡才喝了一半,或许玩一把炉石传说。 日志服务11月份发布数据接入向导功能,如果平均一首歌的时间按3分钟计算,那么给我们5首歌的时间,我们一起来通过日志服务的数据接入向导快速玩转NGINX访问日志分析~
10356 3
|
2月前
|
缓存 应用服务中间件 网络安全
Nginx中配置HTTP2协议的方法
Nginx中配置HTTP2协议的方法
123 7
|
3月前
|
应用服务中间件 BI nginx
Nginx的location配置详解
【10月更文挑战第16天】Nginx的location配置详解
|
3月前
|
缓存 负载均衡 安全
Nginx常用基本配置总结:从入门到实战的全方位指南
Nginx常用基本配置总结:从入门到实战的全方位指南
367 0
|
2月前
|
负载均衡 监控 应用服务中间件
配置Nginx反向代理时如何指定后端服务器的权重?
配置Nginx反向代理时如何指定后端服务器的权重?
138 61
|
16天前
|
存储 应用服务中间件 nginx
nginx反向代理bucket目录配置
该配置实现通过Nginx代理访问阿里云OSS存储桶中的图片资源。当用户访问代理域名下的图片URL(如 `http://代理域名/123.png`)时,Nginx会将请求转发到指定的OSS存储桶地址,并重写路径为 `/prod/files/2024/12/12/123.png`。
54 5

相关产品

  • 日志服务