半天掌握日志存储 云启实验室系列课程 第一讲 | 日志服务之使用 Nginx 模式采集日志

简介: 半天掌握日志存储 云启实验室系列课程 第一讲 |日志服务之使用 Nginx 模式采集日志。 本文介绍如何通过日志服务控制台创建 Nginx 模式的Logtail 配置快速采集 Nginx 日志并进行多维度分析。专家支持:阿里云日志服务技术专家 沐自

「好运集市」春天好运会发芽

半天掌握日志存储,云启实验室系等你来!

好运集市.jpeg

4月21日-4月29日,完成以下课程学习即可参与抽奖,100%中奖,云小宝双肩包VR眼镜等你来。

点击实验室课程链接:https://developer.aliyun.com/adc/series/activity/sls-1

image.png


云启实验室系列课程 第一讲 | 日志服务之使用 Nginx 模式采集日志实验简介

本场景将提供一台配置了 Centos 7.7 版本的 ECS 实例(云服务器)。通过本教程的操作,您可以基于已有环境快速采集 Nginx 日志。


体验此场景后,可以掌握的知识有:

  • 日志服务基本操作。


本场景主要涉及以下云产品和服务:

  • 日志服务:日志服务 SLS 是云原生观测与分析平台,为 Log、Metric、Trace 等数据提供大规模、低成本、实时的平台化服务。日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能,全面提升您在研发、运维、运营、安全等场景的数字化能力。
  • 云服务器 ECS:云服务器(Elastic Compute Service,简称 ECS)是阿里云提供的性能卓越、稳定可靠、弹性扩展的 IaaS(Infrastructure as a Service)级别云计算服务。云服务器 ECS 免去了您采购IT硬件的前期准备,让您像使用水、电、天然气等公共资源一样便捷、高效地使用服务器,实现计算资源的即开即用和弹性伸缩。阿里云 ECS 持续提供创新型服务器,解决多种业务需求,助力您的业务发展。


实验后您将收获到

  • 日志服务真实操作环境
  • Linux常用命令大全


云启实验室系列课程 第一讲 | 日志服务之使用 Nginx 模式采集日志实验手册

安装资源

实验云账号,创建资源后生成

image.png

安装 Nginx

1. 在页面右侧,单击 图标,切换至Web Terminal。

2. 安装Nginx运行所需要的插件。

a. 执行如下命令,安装gcc。gcc是Linux下的编译器,它可以编译C、C++、Ada、Object C和Java等语言。

yum -y install gcc

b. 执行如下命令,安装pcre。pcre是一个perl库,Nginx的HTTP模块使用pcre来解析正则表达式。

yum install -y pcre pcre-devel

c. 执行如下命令,安装zlib。zlib是一个文件压缩和解压缩的库,Nginx使用zlib对HTTP数据包进行gzip压缩和解压。

yum install -y zlib zlib-devel

3. 执行如下命令,下载Nginx安装包。

wget http://nginx.org/download/nginx-1.17.10.tar.gz

4. 执行如下命令,解压Nginx安装包。

tar -zxvf nginx-1.17.10.tar.gz

5. 执行如下命令,编译安装Nginx。

cd nginx-1.17.10

./configure

make && make install

6. 执行如下命令,启动Nginx。

cd /usr/local/nginx/

sbin/nginx

7. 在页面右侧,单击图标,切换到远程桌面操作界面。

8. 测试Nginx启动。打开虚拟桌面的 FireFox ESR 浏览器,访问 http://,出现如下界面表示安装启动成功。

image.png

创建 SLS 日志服务 Logstore

本步骤将指导您如何在日志服务控制台中创建Logstore。

  1. 双击打开虚拟桌面的Firefox ESR浏览器。
  2. 在RAM用户登录框中单击下一步,并复制粘贴页面左上角的子用户密码到用户密码输入框,单击登录。
  3. 复制下方地址,在Firefox ESR浏览器打开新页签,粘贴并访问日志服务控制台。

https://sls.console.aliyun.com/

4.在日志服务控制台下方的Project列表中,单击Project名称。

说明:您可以在云产品资源列表中查看Project名称。

image.png

5.在左侧日志库功能栏中,单击 + 图标。

image.png

6.在创建Logstore对话框中,输入Logstore名称,打开WebTracking开关,然后单击确定。

参数说明:

● Logstore名称:自定义Logstore名称,在其所属Project内必须唯一。创建Logstore成功后,无法更改其名称。

● WebTracking:打开WebTracking开关,您可以通过WebTracking从HTML、H5、iOS或Android上采集数据到日志服务。

image.png

  1. 在创建成功对话框中,单击取消。

image.png

接入数据

1. 在日志服务控制台的接入数据区域,单击Nginx-文本日志

image.png

2. 在选择日志空间页面,选择在步骤四中项目Project日志库Logstore,然后单击下一步。

image.png

3. 在创建机器组页面,选择ECS机器,实例选取方式选择手动选择实例,选择云产品资源下拉列表中的ECS机器,然后单击立即执行

image.png

image.png

4. 当执行状态为成功后,单击确认安装完毕

5. 在创建机器组页面,输入自定义名称,然后单击下一步

image.png

6. 在机器组配置页面,在源机器组中选择上一步创建好的机器组,单击“>”将机器组移动到应用机器组,然后单击下一步

image.png

7. 在Logtail配置页面,依次输入配置名称日志路径NGINX日志配置日志样例,单击校验,校验成功后单击下一步

参数说明:

  • 配置名称:自定义Logtail配置的名称,在其所属Project内必须唯一。创建Logtail配置成功后,无法修改其名称。
  • 日志路径:填写为/usr/local/nginx/logs/**/access.log。
  • NGINX日志配置:
log_format main  '$remote_addr - $remote_user [$time_local] "$request" '
                 '$request_time $request_length '
                 '$status $body_bytes_sent "$http_referer" '
                 '"$http_user_agent"';

日志样例:

192.168.1.2 - - [10/Jul/2020:15:51:09 +0800] "GET /ubuntu.iso HTTP/1.0" 0.000 129 404 168 "-" "Wget/1.11.4 Red Hat modified"


整体配置如下图所示

image.png

image.png

image.png

8. 在查询分析配置页面,单击下一步

image.png

  1. 结束页面,单击查询日志

image.png

10. 在查询分析错误对话框中,单击确定。

image.png

11. 打开浏览器新页签,访问 http://,并刷新页面几次。

12. 打开日志服务页签,单击查询/分析,您即可看到采集的access.log日志。

image.png


相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
目录
相关文章
|
11月前
|
数据采集 缓存 大数据
【赵渝强老师】大数据日志采集引擎Flume
Apache Flume 是一个分布式、可靠的数据采集系统,支持从多种数据源收集日志信息,并传输至指定目的地。其核心架构由Source、Channel、Sink三组件构成,通过Event封装数据,保障高效与可靠传输。
544 1
|
12月前
|
存储 Kubernetes 监控
Kubernetes日志管理:使用Loki进行日志采集
通过以上步骤,在Kubernetes环境下利用LoKi进行有效率且易于管理地logs采集变成可能。此外,在实施过程中需要注意版本兼容性问题,并跟进社区最新动态以获取功能更新或安全补丁信息。
644 16
|
存储 缓存 Apache
StarRocks+Paimon 落地阿里日志采集:万亿级实时数据秒级查询
A+流量分析平台是阿里集团统一的全域流量数据分析平台,致力于通过埋点、采集、计算构建流量数据闭环,助力业务提升流量转化。面对万亿级日志数据带来的写入与查询挑战,平台采用Flink+Paimon+StarRocks技术方案,实现高吞吐写入与秒级查询,优化存储成本与扩展性,提升日志分析效率。
1617 1
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
5242 32
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
683 9
|
XML JSON Java
Logback 与 log4j2 性能对比:谁才是日志框架的性能王者?
【10月更文挑战第5天】在Java开发中,日志框架是不可或缺的工具,它们帮助我们记录系统运行时的信息、警告和错误,对于开发人员来说至关重要。在众多日志框架中,Logback和log4j2以其卓越的性能和丰富的功能脱颖而出,成为开发者们的首选。本文将深入探讨Logback与log4j2在性能方面的对比,通过详细的分析和实例,帮助大家理解两者之间的性能差异,以便在实际项目中做出更明智的选择。
1843 3
|
监控 容灾 算法
阿里云 SLS 多云日志接入最佳实践:链路、成本与高可用性优化
本文探讨了如何高效、经济且可靠地将海外应用与基础设施日志统一采集至阿里云日志服务(SLS),解决全球化业务扩展中的关键挑战。重点介绍了高性能日志采集Agent(iLogtail/LoongCollector)在海外场景的应用,推荐使用LoongCollector以获得更优的稳定性和网络容错能力。同时分析了多种网络接入方案,包括公网直连、全球加速优化、阿里云内网及专线/CEN/VPN接入等,并提供了成本优化策略和多目标发送配置指导,帮助企业构建稳定、低成本、高可用的全球日志系统。
1523 55
|
存储 缓存 关系型数据库
图解MySQL【日志】——Redo Log
Redo Log(重做日志)是数据库中用于记录数据页修改的物理日志,确保事务的持久性和一致性。其主要作用包括崩溃恢复、提高性能和保证事务一致性。Redo Log 通过先写日志的方式,在内存中缓存修改操作,并在适当时候刷入磁盘,减少随机写入带来的性能损耗。WAL(Write-Ahead Logging)技术的核心思想是先将修改操作记录到日志文件中,再择机写入磁盘,从而实现高效且安全的数据持久化。Redo Log 的持久化过程涉及 Redo Log Buffer 和不同刷盘时机的控制参数(如 `innodb_flush_log_at_trx_commit`),以平衡性能与数据安全性。
1068 5
图解MySQL【日志】——Redo Log

相关产品

  • 日志服务