日志服务之使用Nginx模式采集日志

本文涉及的产品
云服务器 ECS,u1 4核8GB 1个月
云服务器 ECS,u1 4核16GB 1个月
云服务器 ECS,u1 2核4GB 3个月
简介: 本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。

体验简介

日志服务
日志服务SLS是云原生观测与分析平台,为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务。日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能,全面提升您在研发、运维、运营、安全等场景的数字化能力。

云服务器ECS
云服务器(Elastic Compute Service,简称ECS)是阿里云提供的性能卓越、稳定可靠、弹性扩展的IaaS(Infrastructure as a Service)级别云计算服务。云服务器ECS免去了您采购IT硬件的前期准备,让您像使用水、电、天然气等公共资源一样便捷、高效地使用服务器,实现计算资源的即开即用和弹性伸缩。阿里云ECS持续提供创新型服务器,解决多种业务需求,助力您的业务发展。

日志服务课程体验活动

半天掌握日志存储
4.21-4.29完成所有课程即可获得一次抽奖机会,100%中奖,背包、云小宝、VR眼镜等好礼等你领!
点击前往:https://developer.aliyun.com/adc/series/activity/sls-1

安装Nginx

\1. 在页面右侧,单击 图标,切换至Web Terminal。

\2. 安装Nginx运行所需要的插件。

a. 执行如下命令,安装gcc。gcc是Linux下的编译器,它可以编译C、C++、Ada、Object C和Java等语言。

yum -y install gcc

b. 执行如下命令,安装pcre。pcre是一个perl库,Nginx的HTTP模块使用pcre来解析正则表达式。

yum install -y pcre pcre-devel

c. 执行如下命令,安装zlib。zlib是一个文件压缩和解压缩的库,Nginx使用zlib对HTTP数据包进行gzip压缩和解压。

yum install -y zlib zlib-devel

\3. 执行如下命令,下载Nginx安装包。

wget http://nginx.org/download/nginx-1.17.10.tar.gz

\4. 执行如下命令,解压Nginx安装包。

tar -zxvf nginx-1.17.10.tar.gz

\5. 执行如下命令,编译安装Nginx。

cd nginx-1.17.10
./configure
make && make install

\6. 执行如下命令,启动Nginx。

cd /usr/local/nginx/
sbin/nginx

\7. 在页面右侧,单击图标,切换到远程桌面操作界面。

\8. 测试Nginx启动。打开虚拟桌面的FireFox ESR浏览器,访问http://<ECS公网地址>,出现如下界面表示安装启动成功。

创建SLS日志服务Logstore

本步骤将指导您如何在日志服务控制台中创建Logstore。

  1. 双击打开虚拟桌面的Firefox ESR浏览器。
  2. 在RAM用户登录框中单击下一步,并复制粘贴页面左上角的子用户密码到用户密码输入框,单击登录。
  3. 复制下方地址,在Firefox ESR浏览器打开新页签,粘贴并访问日志服务控制台。

https://sls.console.aliyun.com/

4.在日志服务控制台下方的Project列表中,单击Project名称。

说明:您可以在云产品资源列表中查看Project名称。

5.在左侧日志库功能栏中,单击 图标。

6.在创建Logstore对话框中,输入Logstore名称,打开WebTracking开关,然后单击确定。

参数说明:

● Logstore名称:自定义Logstore名称,在其所属Project内必须唯一。创建Logstore成功后,无法更改其名称。
● WebTracking:打开WebTracking开关,您可以通过WebTracking从HTML、H5、iOS或Android上采集数据到日志服务。

接入数据

\1. 在日志服务控制台的接入数据区域,单击Nginx-文本日志

\2. 在选择日志空间页面,选择在步骤四中项目Project日志库Logstore,然后单击下一步。

\3. 在创建机器组页面,选择ECS机器,实例选取方式选择手动选择实例,选择云产品资源下拉列表中的ECS机器,然后单击立即执行

\4. 当执行状态为成功后,单击确认安装完毕

img

\5. 在创建机器组页面,输入自定义名称,然后单击下一步

\6. 在机器组配置页面,在源机器组中选择上一步创建好的机器组,单击“>”将机器组移动到应用机器组,然后单击下一步

\7. 在Logtail配置页面,依次输入配置名称日志路径NGINX日志配置日志样例,单击校验,校验成功后单击下一步

参数说明:

  • 配置名称:自定义Logtail配置的名称,在其所属Project内必须唯一。创建Logtail配置成功后,无法修改其名称。
  • 日志路径:填写为/usr/local/nginx/logs/**/access.log。
  • NGINX日志配置:
log_format main  '$remote_addr - $remote_user [$time_local] "$request" '
                 '$request_time $request_length '
                 '$status $body_bytes_sent "$http_referer" '
                 '"$http_user_agent"';

日志样例:

192.168.1.2 - - [10/Jul/2020:15:51:09 +0800] "GET /ubuntu.iso HTTP/1.0" 0.000 129 404 168 "-" "Wget/1.11.4 Red Hat modified"

\8. 在查询分析配置页面,单击下一步

\9. 在结束页面,单击查询日志

\10. 在查询分析错误对话框中,单击确定。

\11. 打开浏览器新页签,访问http://<ECS公网地址>,并刷新页面几次。

\12. 打开日志服务页签,单击查询/分析,您即可看到采集的access.log日志。

img

相关实践学习
日志服务之数据清洗与入湖
本教程介绍如何使用日志服务接入NGINX模拟数据,通过数据加工对数据进行清洗并归档至OSS中进行存储。
相关文章
|
9天前
|
应用服务中间件 Linux 开发工具
Nginx14---目录结构分析,查看Ngnix访问日志命令的写法​
Nginx14---目录结构分析,查看Ngnix访问日志命令的写法​
|
12天前
|
消息中间件 NoSQL Kafka
基于Kafka的nginx日志收集分析与监控平台(3)
基于Kafka的nginx日志收集分析与监控平台(3)
|
12天前
|
消息中间件 监控 Kafka
基于Kafka的nginx日志收集分析与监控平台(2)
基于Kafka的nginx日志收集分析与监控平台(2)
|
12天前
|
消息中间件 负载均衡 应用服务中间件
基于Kafka的nginx日志收集分析与监控平台(1)
基于Kafka的nginx日志收集分析与监控平台(1)
|
12天前
|
消息中间件 NoSQL Kafka
日志收集平台项目nginx、kafka、zookeeper、filebeat搭建的基本配置(2)
日志收集平台项目nginx、kafka、zookeeper、filebeat搭建的基本配置(2)
|
12天前
|
消息中间件 应用服务中间件 Kafka
日志收集平台项目nginx、kafka、zookeeper、filebeat搭建的基本配置(1)
日志收集平台项目nginx、kafka、zookeeper、filebeat搭建的基本配置(1)
|
1月前
|
应用服务中间件 nginx
Nginx 配置,自定义日志格式 log_format
Nginx 配置,自定义日志格式 log_format
39 0
|
1月前
|
应用服务中间件 nginx
Nginx开启访问日志记录
Nginx开启访问日志记录
28 0
|
2月前
|
缓存 应用服务中间件 网络安全
nginx 日志,压缩,https功能介绍
nginx 日志,压缩,https功能介绍
|
2月前
|
Oracle 关系型数据库 数据库
实时计算 Flink版产品使用合集之采集Oracle数据库时,归档日志大小暴增的原因是什么
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。