日志服务之使用Nginx模式采集日志

简介: 本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。

日志服务之使用Nginx模式采集日志


1. 实验资源方式简介及开始实验

云起实验室实验资源方式介绍

云起实验室支持实验资源体验、领取免费试用额度、个人账户资源三种实验资源方式。

实验资源体验

资源归属于客户,仅供本次实验使用

实验结束后,实验资源及实验记录将被释放。

资源创建过程需要3~5分钟(视资源不同开通时间有所差异,ACK等资源开通时间较长)。完成实验资源的创建后,在实验室页面左侧导航栏中,单击云产品资源列表,可查看本次实验资源相关信息(例如子用户名称、子用户密码、AK ID、AK Secret、资源中的项目名称等)。

说明:实验环境一旦开始创建则进入计时阶段,建议学员先基本了解实验具体的步骤、目的,真正开始做实验时再进行创建。

领取免费试用额度

使用个人账号开通试用,平台仅提供手册参考。

所有实验操作将保留至您的账号,请谨慎操作。

在实验页面下方卡片会展示本实验支持的试用规格,可以选择你要试用的云产品资源进行开通。您在实验过程中,可以随时用右下角icon唤起试用卡片。阿里云支持试用的产品列表、权益及具体规则说明请参考开发者试用中心

说明:试用云产品开通在您的个人账号下,并占用您的试用权益。如试用超出免费试用额度,可能会产生一定费用。

个人账户资源

使用您个人的云资源进行操作,资源归属于个人。

所有实验操作将保留至您的账号,请谨慎操作。

平台仅提供手册参考,不会对资源做任何操作。

说明:使用个人账户资源,在创建资源时,可能会产生一定的费用,请您及时关注相关云产品资源的计费概述。

准备开始实验

在实验开始前,请您选择其中一种实验资源,单击确认开启实验

说明:每个实验所支持的实验资源方式都不相同,实验不一定能满足有三种实验资源方式,请根据实验的实际情况,进行选择。


2. 安装Nginx

1. 在实验室页面右侧功能栏中,单击 图标,切换至Web Terminal,即可自动连接到实验室提供的ECS服务器。

2. 安装Nginx运行所需要的插件。

a. 执行如下命令,安装gcc。gcc是Linux下的编译器,它可以编译C、C++、Ada、Object C和Java等语言。

yum -y install gcc

b. 执行如下命令,安装pcre。pcre是一个perl库,Nginx的HTTP模块使用pcre来解析正则表达式。

yum install -y pcre pcre-devel

c. 执行如下命令,安装zlib。zlib是一个文件压缩和解压缩的库,Nginx使用zlib对HTTP数据包进行gzip压缩和解压。

yum install -y zlib zlib-devel

3. 执行如下命令,下载Nginx安装包。

wget http://nginx.org/download/nginx-1.17.10.tar.gz

4. 执行如下命令,解压Nginx安装包。

tar -zxvf nginx-1.17.10.tar.gz

5. 依次执行如下命令,编译安装Nginx。

cd nginx-1.17.10 
./configure 
make && make install

6. 依次执行如下命令,启动Nginx。

cd /usr/local/nginx/
sbin/nginx

8. 测试Nginx启动。打开本机浏览器新页签,访问http://,出现如下界面表示安装启动成功。

说明:您需要将替换为云产品列表中的ECS公网地址。


3. 创建Logstore

本步骤将指导您如何在日志服务控制台中创建Logstore。

  1. 在实验室页面右侧功能栏中,单击 图标,切换至远程桌面。

双击打开远程桌面Chromium网页浏览器

在RAM用户登录框中单击下一步,并复制粘贴页面左上角的子用户密码用户密码输入框,单击登录

复制下方地址,在Chromium网页浏览器打开新页签,粘贴并访问日志服务控制台。

https://sls.console.aliyun.com/

日志服务控制台下方的Project列表中,单击Project名称。

说明:您可以在云产品资源列表中查看Project名称。(如果出现“错误”弹窗直接关闭,不影响实验)。

在左侧日志库功能栏中,单击 图标。

创建Logstore对话框中,输入Logstore名称,打开WebTracking开关,然后单击确定

参数说明:

Logstore名称:自定义Logstore名称,在其所属Project内必须唯一。创建Logstore成功后,无法更改其名称。

WebTracking:打开WebTracking开关,您可以通过WebTracking从HTML、H5、iOS或Android上采集数据到日志服务。

  1. 创建成功对话框中,单击数据接入向导


4. 接入数据

  1. 快速数据接入区域,单击Nginx-文本日志

创建机器组页面,选择ECS机器,实例选取方式选择手动选择实例,选择您的云服务器ECS,然后单击创建

参数确认对话框中,单击确定

您确定要继续创建任务对话框中,单击继续创建

当执行状态为成功后,单击确认安装完毕

说明:如果执行状态一直在运行中,请您单击右上角的刷新,或者尝试切换顶部的选项栏,重新加载执行状态,如:成功失败

创建机器组页面,输入自定义名称,然后单击下一步

  1. 机器组配置页面,确认上一步创建的机器组在应用机器组中,然后单击下一步

说明:如果出现机器组心跳情况为FAIL,请您单击自动重试,机器组心跳情况变为正常后再单击下一步。如果上一步创建的机器组未在应用机器组中,您需要在源机器组中选择上一步创建好的机器组,单击“>”将机器组移动到应用机器组。

  1. Logtail配置页面,依次输入配置名称日志路径NGINX日志配置日志样例,单击校验,校验成功后单击下一步

参数说明:

  • 配置名称:自定义Logtail配置的名称,在其所属Project内必须唯一。创建Logtail配置成功后,无法修改其名称。
  • 日志路径:
/usr/local/nginx/logs
  • /**/:
access.log
  • NGINX日志配置:
log_format main  '$remote_addr - $remote_user [$time_local] "$request" '
                 '$request_time $request_length '
                 '$status $body_bytes_sent "$http_referer" '
                 '"$http_user_agent"';

日志样例:

192.168.1.2 - - [10/Jul/2020:15:51:09 +0800] "GET /ubuntu.iso HTTP/1.0" 0.000 129 404 168 "-" "Wget/1.11.4 Red Hat modified"

整体配置如下图所示:

  1. 查询分析配置页面,单击下一步

  1. 结束页面,单击查询日志

  1. 如果出现错误对话框中,单击关闭

  1. 打开浏览器新页签,访问http://,并刷新页面几次。
  2. 切换至日志服务控制台页签,单击查询/分析,您即可看到采集的access.log日志。

说明:如果您暂未采集到access.log日志,请您稍等大约五分钟,刷新页面并多查询几次,即可采集到access.log日志。


实验链接:https://developer.aliyun.com/adc/scenario/5e1aca8e9cd14965a6e84ca5cf2fefd0

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
23天前
|
监控 应用服务中间件 定位技术
要统计Nginx的客户端IP,可以通过分析Nginx的访问日志文件来实现
要统计Nginx的客户端IP,可以通过分析Nginx的访问日志文件来实现
|
4月前
|
应用服务中间件 nginx
nginx error日志 client intended to send too large body: 1434541 bytes 如何处理?
【8月更文挑战第27天】nginx error日志 client intended to send too large body: 1434541 bytes 如何处理?
387 6
|
4月前
|
应用服务中间件 Linux nginx
在Linux中,如何统计ip访问情况?分析 nginx 访问日志?如何找出访问页面数量在前十位的ip?
在Linux中,如何统计ip访问情况?分析 nginx 访问日志?如何找出访问页面数量在前十位的ip?
|
4月前
|
存储 监控 应用服务中间件
查看nginx日志文件
器性能和提高网站可用性。掌握日志文件的路径、查看方法和基本分析技能对于任何服务器管理员来说都是必备技能。
188 1
|
1月前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
345 30
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
14天前
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
|
2月前
|
XML JSON Java
Logback 与 log4j2 性能对比:谁才是日志框架的性能王者?
【10月更文挑战第5天】在Java开发中,日志框架是不可或缺的工具,它们帮助我们记录系统运行时的信息、警告和错误,对于开发人员来说至关重要。在众多日志框架中,Logback和log4j2以其卓越的性能和丰富的功能脱颖而出,成为开发者们的首选。本文将深入探讨Logback与log4j2在性能方面的对比,通过详细的分析和实例,帮助大家理解两者之间的性能差异,以便在实际项目中做出更明智的选择。
333 3
|
24天前
|
存储 监控 安全
什么是事件日志管理系统?事件日志管理系统有哪些用处?
事件日志管理系统是IT安全的重要工具,用于集中收集、分析和解释来自组织IT基础设施各组件的事件日志,如防火墙、路由器、交换机等,帮助提升网络安全、实现主动威胁检测和促进合规性。系统支持多种日志类型,包括Windows事件日志、Syslog日志和应用程序日志,通过实时监测、告警及可视化分析,为企业提供强大的安全保障。然而,实施过程中也面临数据量大、日志管理和分析复杂等挑战。EventLog Analyzer作为一款高效工具,不仅提供实时监测与告警、可视化分析和报告功能,还支持多种合规性报告,帮助企业克服挑战,提升网络安全水平。
|
2月前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1710 14
|
1月前
|
存储 监控 安全
什么是日志管理,如何进行日志管理?
日志管理是对IT系统生成的日志数据进行收集、存储、分析和处理的实践,对维护系统健康、确保安全及获取运营智能至关重要。本文介绍了日志管理的基本概念、常见挑战、工具的主要功能及选择解决方案的方法,强调了定义管理目标、日志收集与分析、警报和报告、持续改进等关键步骤,以及如何应对数据量大、安全问题、警报疲劳等挑战,最终实现日志数据的有效管理和利用。
108 0