日志服务-分隔符模式配置Nginx日志采集

简介:

日志服务支持通过数据接入向导配置采集Nginx日志,并自动创建索引和Nginx日志仪表盘,帮助您快速采集并分析Nginx日志。
参考:
https://help.aliyun.com/document_detail/28988.html
https://help.aliyun.com/document_detail/56728.html
下面介绍另一种方式,用分隔符模式采集Nginx日志。

背景信息

使用nginx log_format配置采集,会根据log_format生成正则,因为一些特殊字段,生成的正则可能会和原始日志不匹配,而用分隔符模式采集就会避免这个问题。

安装Nginx

相关命令

安装Nginx

sudo yum install nginx

查看Nginx版本

nginx -v

设置Nginx开机启动

sudo systemctl enable nginx

启动Nginx

sudo systemctl start nginx

重启Nginx

sudo systemctl restart nginx

检查Nginx运行状态

sudo systemctl status nginx

编辑配置文件

vim /etc/nginx/nginx.conf

日志路径

/var/log/nginx/access.log

用分隔符配置log_format

这个里分隔符设置为|#|

log_format main  '$remote_addr|#|$remote_user|#|$time_local|#|$request|#|'
                '$request_time|#|$request_length|#|'
                '$status|#|$body_bytes_sent|#|$http_referer|#|'
                '$http_user_agent';

nginx.conf配置截图
image.png


日志样例

127.0.0.1|#|-|#|13/Apr/2020:09:44:41 +0800|#|GET /1 HTTP/1.1|#|0.000|#|74|#|404|#|3650|#|-|#|curl/7.29.0

配置日志采集

1. 登录

日志服务控制台

2. 选择数据源类型

采集分隔符日志请选择分隔符-文本日志

3. 选择日志空间

请选择Project和Logstore,您也可以直接单击立即创建新建Project和Logstore。具体步骤请参见准备流程
如果您是通过日志库下的数据接入后的加号进入采集配置流程,系统会直接跳过该步骤。

4. 创建机器组

在创建机器组之前,您需要首先确认已经安装了Logtail。

5. 安装完Logtail后单击确认安装完毕创建机器组

具体请参见简介。如果您之前已经创建好机器组 ,请直接单击使用现有机器组

6. 机器组配置

选择一个机器组,将该机器组从源机器组移动到应用机器组

image.png

7. Logtail配置

将上文的日志样例粘贴到下图的对应位置中,分隔符选择自定义,设置为|#|,在key上依次填入字段名,点击保存。

image.png
image.png
分隔符详细配置参考:
https://help.aliyun.com/document_detail/31724.html

8. 查询分析配置

查询日志需要开启索引,点击“开启索引”,再点击确定,如果预览可以看到数据,可以点击自动生成索引。


9. 视频

https://v.youku.com/v_show/id_XNDY2NzkxNzQxMg==.html

相关实践学习
通过日志服务实现云资源OSS的安全审计
本实验介绍如何通过日志服务实现云资源OSS的安全审计。
目录
相关文章
|
存储 运维 开发工具
警惕日志采集失败的 6 大经典雷区:从本地管理反模式到 LoongCollector 标准实践
本文探讨了日志管理中的常见反模式及其潜在问题,强调科学的日志管理策略对系统可观测性的重要性。文中分析了6种反模式:copy truncate轮转导致的日志丢失或重复、NAS/OSS存储引发的采集不一致、多进程写入造成的日志混乱、创建文件空洞释放空间的风险、频繁覆盖写带来的数据完整性问题,以及使用vim编辑日志文件导致的重复采集。针对这些问题,文章提供了最佳实践建议,如使用create模式轮转日志、本地磁盘存储、单线程追加写入等方法,以降低日志采集风险,提升系统可靠性。最后总结指出,遵循这些实践可显著提高故障排查效率和系统性能。
1490 21
|
9月前
|
存储 运维 开发工具
警惕日志采集失败的 6 大经典雷区:从本地管理反模式到 LoongCollector 标准实践
本文总结了日志管理中的六大反模式及优化建议,涵盖日志轮转、存储选择、并发写入等常见问题,帮助提升日志采集的完整性与系统可观测性,适用于运维及开发人员优化日志管理策略。
312 5
|
12月前
|
数据可视化 关系型数据库 MySQL
ELK实现nginx、mysql、http的日志可视化实验
通过本文的步骤,你可以成功配置ELK(Elasticsearch, Logstash, Kibana)来实现nginx、mysql和http日志的可视化。通过Kibana,你可以直观地查看和分析日志数据,从而更好地监控和管理系统。希望这些步骤能帮助你在实际项目中有效地利用ELK来处理日志数据。
851 90
|
10月前
|
负载均衡 前端开发 JavaScript
LVS-DR模式、keepalived、Nginx与Tomcat合作,打造动静分离,高效负载均衡与高可用性
为了采用这样的架构,你需要对LVS-DR、Keepalived、Nginx与Tomcat有一定的理解和掌握,同时也需要投入一些时间去研究和配置,但是一旦你把它运行起来,你将会发现,这一切都是值得的。
391 11
|
SQL 存储 JSON
更快更强,SLS 推出高性能 SPL 日志查询模式
从海量的日志数据中,按照各种灵活的条件进行即时查询搜索,是可观测场景下的基本需求。本文介绍了 SLS 新推出的高性能 SPL 日志查询模式,支持 Unix 风格级联管道式语法,以及各种丰富的 SQL 处理函数。同时通过计算下推、向量化计算等优化,使得 SPL 查询可以在数秒内处理亿级数据,并支持 SPL 过滤结果分布图、随机翻页等特性。
13568 216
|
监控 应用服务中间件 定位技术
要统计Nginx的客户端IP,可以通过分析Nginx的访问日志文件来实现
要统计Nginx的客户端IP,可以通过分析Nginx的访问日志文件来实现
1260 3
|
应用服务中间件 Linux nginx
在Linux中,如何统计ip访问情况?分析 nginx 访问日志?如何找出访问页面数量在前十位的ip?
在Linux中,如何统计ip访问情况?分析 nginx 访问日志?如何找出访问页面数量在前十位的ip?
|
存储 应用服务中间件 nginx
部署ELK+filebeat收集nginx日志
部署ELK+filebeat收集nginx日志
718 0
部署ELK+filebeat收集nginx日志
|
10月前
|
应用服务中间件 Linux 网络安全
Centos 8.0中Nginx配置文件和https正书添加配置
这是一份Nginx配置文件,包含HTTP与HTTPS服务设置。主要功能如下:1) 将HTTP(80端口)请求重定向至HTTPS(443端口),增强安全性;2) 配置SSL证书,支持TLSv1.1至TLSv1.3协议;3) 使用uWSGI与后端应用通信(如Django);4) 静态文件托管路径设为`/root/code/static/`;5) 定制错误页面(404、50x)。适用于Web应用部署场景。
914 87
|
6月前
|
编解码 应用服务中间件 Linux
centos配置nginx-rtmp实现ffmpeg转码rtsp为rtmp视频流
centos配置nginx-rtmp实现ffmpeg转码rtsp为rtmp视频流
544 1

相关产品

  • 日志服务