日志服务-分隔符模式配置Nginx日志采集

简介:

日志服务支持通过数据接入向导配置采集Nginx日志,并自动创建索引和Nginx日志仪表盘,帮助您快速采集并分析Nginx日志。
参考:
https://help.aliyun.com/document_detail/28988.html
https://help.aliyun.com/document_detail/56728.html
下面介绍另一种方式,用分隔符模式采集Nginx日志。

背景信息

使用nginx log_format配置采集,会根据log_format生成正则,因为一些特殊字段,生成的正则可能会和原始日志不匹配,而用分隔符模式采集就会避免这个问题。

安装Nginx

相关命令

安装Nginx

sudo yum install nginx

查看Nginx版本

nginx -v

设置Nginx开机启动

sudo systemctl enable nginx

启动Nginx

sudo systemctl start nginx

重启Nginx

sudo systemctl restart nginx

检查Nginx运行状态

sudo systemctl status nginx

编辑配置文件

vim /etc/nginx/nginx.conf

日志路径

/var/log/nginx/access.log

用分隔符配置log_format

这个里分隔符设置为|#|

log_format main  '$remote_addr|#|$remote_user|#|$time_local|#|$request|#|'
                '$request_time|#|$request_length|#|'
                '$status|#|$body_bytes_sent|#|$http_referer|#|'
                '$http_user_agent';

nginx.conf配置截图
image.png


日志样例

127.0.0.1|#|-|#|13/Apr/2020:09:44:41 +0800|#|GET /1 HTTP/1.1|#|0.000|#|74|#|404|#|3650|#|-|#|curl/7.29.0

配置日志采集

1. 登录

日志服务控制台

2. 选择数据源类型

采集分隔符日志请选择分隔符-文本日志

3. 选择日志空间

请选择Project和Logstore,您也可以直接单击立即创建新建Project和Logstore。具体步骤请参见准备流程
如果您是通过日志库下的数据接入后的加号进入采集配置流程,系统会直接跳过该步骤。

4. 创建机器组

在创建机器组之前,您需要首先确认已经安装了Logtail。

5. 安装完Logtail后单击确认安装完毕创建机器组

具体请参见简介。如果您之前已经创建好机器组 ,请直接单击使用现有机器组

6. 机器组配置

选择一个机器组,将该机器组从源机器组移动到应用机器组

image.png

7. Logtail配置

将上文的日志样例粘贴到下图的对应位置中,分隔符选择自定义,设置为|#|,在key上依次填入字段名,点击保存。

image.png
image.png
分隔符详细配置参考:
https://help.aliyun.com/document_detail/31724.html

8. 查询分析配置

查询日志需要开启索引,点击“开启索引”,再点击确定,如果预览可以看到数据,可以点击自动生成索引。


9. 视频

https://v.youku.com/v_show/id_XNDY2NzkxNzQxMg==.html

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
8天前
|
Java
flume的log4j.properties配置说明
flume的log4j.properties配置说明
|
1天前
|
域名解析 网络协议 应用服务中间件
nginx-ingress通过ipv6暴露服务,并在nginx ingress日志中记录客户端真实ipv6的ip地址
本文主要通过阿里云提供的clb和nlb来实现,建议是提前创建好双栈的vpc和vsw(使用clb可以不用双栈vpc和vsw)
28 1
|
2天前
|
存储 JSON 监控
可以通过配置Filebeat来将Higress日志持久化到磁盘
【2月更文挑战第10天】可以通过配置Filebeat来将Higress日志持久化到磁盘
16 4
|
2天前
|
应用服务中间件
weblogic配置、修改日志保存目录、配置滚动日志
weblogic配置、修改日志保存目录、配置滚动日志
|
3天前
|
数据库
redo log日志格式
redo log日志格式
|
3天前
|
SQL 数据采集 JSON
弱结构化日志 Flink SQL 怎么写?SLS SPL 来帮忙
弱结构化日志 Flink SQL 怎么写?SLS SPL 来帮忙
123296 2
|
4天前
|
Python
百度搜索:蓝易云【python配置info,error级别的日志】
在实际应用中,我们可以根据需要,将日志输出到不同的文件或者使用不同的日志处理器,来实现灵活的日志记录和管理。通过配置不同的日志级别,我们可以根据实际需求记录所需的日志信息,方便调试和排查问题。 买CN2云服务器,免备案服务器,高防服务器,就选蓝易云。百度搜索:蓝易云
23 0
|
26天前
|
监控 安全 数据库
Binlog vs. Redo Log:数据库日志的较劲【高级】
Binlog vs. Redo Log:数据库日志的较劲【高级】
70 0
|
26天前
|
存储 缓存 关系型数据库
Binlog vs. Redo Log:数据库日志的较劲【基础】
Binlog vs. Redo Log:数据库日志的较劲【基础】
52 0
|
26天前
log4j2.xml的日志打印配置
log4j2.xml的日志打印配置
16 0

相关产品

  • 日志服务