日志服务之使用Nginx模式采集日志
1. 实验资源方式简介及开始实验
云起实验室实验资源方式介绍
云起实验室支持实验资源体验、领取免费试用额度、个人账户资源三种实验资源方式。
实验资源体验
资源归属于客户,仅供本次实验使用
实验结束后,实验资源及实验记录将被释放。
资源创建过程需要3~5分钟(视资源不同开通时间有所差异,ACK等资源开通时间较长)。完成实验资源的创建后,在实验室页面左侧导航栏中,单击云产品资源列表,可查看本次实验资源相关信息(例如子用户名称、子用户密码、AK ID、AK Secret、资源中的项目名称等)。
说明:实验环境一旦开始创建则进入计时阶段,建议学员先基本了解实验具体的步骤、目的,真正开始做实验时再进行创建。
领取免费试用额度
使用个人账号开通试用,平台仅提供手册参考。
所有实验操作将保留至您的账号,请谨慎操作。
在实验页面下方卡片会展示本实验支持的试用规格,可以选择你要试用的云产品资源进行开通。您在实验过程中,可以随时用右下角icon唤起试用卡片。阿里云支持试用的产品列表、权益及具体规则说明请参考开发者试用中心。
说明:试用云产品开通在您的个人账号下,并占用您的试用权益。如试用超出免费试用额度,可能会产生一定费用。
个人账户资源
使用您个人的云资源进行操作,资源归属于个人。
所有实验操作将保留至您的账号,请谨慎操作。
平台仅提供手册参考,不会对资源做任何操作。
说明:使用个人账户资源,在创建资源时,可能会产生一定的费用,请您及时关注相关云产品资源的计费概述。
准备开始实验
在实验开始前,请您选择其中一种实验资源,单击确认开启实验。
说明:每个实验所支持的实验资源方式都不相同,实验不一定能满足有三种实验资源方式,请根据实验的实际情况,进行选择。
2. 安装Nginx
1. 在实验室页面右侧功能栏中,单击 图标,切换至Web Terminal,即可自动连接到实验室提供的ECS服务器。
2. 安装Nginx运行所需要的插件。
a. 执行如下命令,安装gcc。gcc是Linux下的编译器,它可以编译C、C++、Ada、Object C和Java等语言。
yum -y install gcc
b. 执行如下命令,安装pcre。pcre是一个perl库,Nginx的HTTP模块使用pcre来解析正则表达式。
yum install -y pcre pcre-devel
c. 执行如下命令,安装zlib。zlib是一个文件压缩和解压缩的库,Nginx使用zlib对HTTP数据包进行gzip压缩和解压。
yum install -y zlib zlib-devel
3. 执行如下命令,下载Nginx安装包。
wget http://nginx.org/download/nginx-1.17.10.tar.gz
4. 执行如下命令,解压Nginx安装包。
tar -zxvf nginx-1.17.10.tar.gz
5. 依次执行如下命令,编译安装Nginx。
cd nginx-1.17.10 ./configure make && make install
6. 依次执行如下命令,启动Nginx。
cd /usr/local/nginx/ sbin/nginx
8. 测试Nginx启动。打开本机浏览器新页签,访问http://,出现如下界面表示安装启动成功。
说明:您需要将替换为云产品列表中的ECS公网地址。
3. 创建Logstore
本步骤将指导您如何在日志服务控制台中创建Logstore。
- 在实验室页面右侧功能栏中,单击 图标,切换至远程桌面。
双击打开远程桌面的Chromium网页浏览器。
在RAM用户登录框中单击下一步,并复制粘贴页面左上角的子用户密码到用户密码输入框,单击登录。
复制下方地址,在Chromium网页浏览器打开新页签,粘贴并访问日志服务控制台。
https://sls.console.aliyun.com/
在日志服务控制台下方的Project列表中,单击Project名称。
说明:您可以在云产品资源列表中查看Project名称。(如果出现“错误”弹窗直接关闭,不影响实验)。
在左侧日志库功能栏中,单击 图标。
在创建Logstore对话框中,输入Logstore名称,打开WebTracking开关,然后单击确定。
参数说明:
Logstore名称:自定义Logstore名称,在其所属Project内必须唯一。创建Logstore成功后,无法更改其名称。
WebTracking:打开WebTracking开关,您可以通过WebTracking从HTML、H5、iOS或Android上采集数据到日志服务。
- 在创建成功对话框中,单击数据接入向导。
4. 接入数据
- 在快速数据接入区域,单击Nginx-文本日志。
在创建机器组页面,选择ECS机器,实例选取方式选择手动选择实例,选择您的云服务器ECS,然后单击创建。
在参数确认对话框中,单击确定。
在您确定要继续创建任务对话框中,单击继续创建。
当执行状态为成功后,单击确认安装完毕。
说明:如果执行状态一直在运行中,请您单击右上角的刷新,或者尝试切换顶部的选项栏,重新加载执行状态,如:成功、失败。
在创建机器组页面,输入自定义名称,然后单击下一步。
- 在机器组配置页面,确认上一步创建的机器组在应用机器组中,然后单击下一步。
说明:如果出现机器组心跳情况为FAIL,请您单击自动重试,机器组心跳情况变为正常后再单击下一步。如果上一步创建的机器组未在应用机器组中,您需要在源机器组中选择上一步创建好的机器组,单击“>”将机器组移动到应用机器组。
- 在Logtail配置页面,依次输入配置名称、日志路径、NGINX日志配置和日志样例,单击校验,校验成功后单击下一步。
参数说明:
- 配置名称:自定义Logtail配置的名称,在其所属Project内必须唯一。创建Logtail配置成功后,无法修改其名称。
- 日志路径:
/usr/local/nginx/logs
- /**/:
access.log
- NGINX日志配置:
log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$request_time $request_length ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent"';
日志样例:
192.168.1.2 - - [10/Jul/2020:15:51:09 +0800] "GET /ubuntu.iso HTTP/1.0" 0.000 129 404 168 "-" "Wget/1.11.4 Red Hat modified"
整体配置如下图所示:
- 在查询分析配置页面,单击下一步。
- 在结束页面,单击查询日志。
- 如果出现错误对话框中,单击关闭。
- 打开浏览器新页签,访问http://,并刷新页面几次。
- 切换至日志服务控制台页签,单击查询/分析,您即可看到采集的access.log日志。
说明:如果您暂未采集到access.log日志,请您稍等大约五分钟,刷新页面并多查询几次,即可采集到access.log日志。
实验链接:https://developer.aliyun.com/adc/scenario/5e1aca8e9cd14965a6e84ca5cf2fefd0