日志服务SLS入门指南

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 简述日志服务SLS及日志采集、信息脱敏和告警接入相关操作

什么是日志服务SLS

在说到日志服务SLS之前,首先了解一下什么是日志服务SLS?日志服务SLS是云原生观测与分析平台,为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务。日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能,全面提升您在研发、运维、运营、安全等场景的数字化能力。关于日志服务的更多内容可以参考官方文档:日志服务SLS 日志服务SLS的官方首页地址:https://www.aliyun.com/product/sls 在了解了什么是日志服务SLS之后,下面我们就开始上手操作吧。

Nginx日志采集

在进行Nginx日志采集之前,我们首先需要部署Nginx服务

部署Nginx

安装Nginx运行需要的插件

# 安装gccyum -y install gcc# 安装pcreyum install -y pcre pcre-devel
# 安装zlibyum install -y zlib zlib-devel

下载Nginx安装包并解压

# 下载安装包wget http://nginx.org/download/nginx-1.17.10.tar.gz
# 解压tar -zxvf nginx-1.17.10.tar.gz

编译安装Nginx

cd nginx-1.17.10 
./configure 
make && make install

启动Nginx

cd /usr/local/nginx/
sbin/nginx ;tail -f ./logs/access.log

启动完成之后打开浏览器输入Nginx部署的云服务器ECS的公网地址即可以看到请求日志信息

image.png

创建Logstore

登录日志服务SLS控制台:https://sls.console.aliyun.com/ 点击你想要操作的Project项目名称

image.png

点击日志库 + 号,输入Logstore名称及勾选WebTracking ,其他的默认即可

image.png

点击【确定】之后

image.png

这里暂时先不进行数据接入,因此点击【取消】

接入数据

再次回到日志服务SLS控制台首页,选择【Nginx-文本日志】

image.png

可以看到Nginx接入数据配置,

image.png

选择项目Project以及刚才创建的Logstore,点击【下一步】

image.png

这里选择【手动选择实例】,选择你需要操作的云服务器ECS,点击【创建】在弹出的弹框提示中选择【继续创建】

image.png

看到成功状态之后点击【确认安装完毕】

image.png

输入名称,点击【下一步】进入机器组配置,其中应用机器组就选我们刚才创建的机器组【test2023】,点击【下一步】进入Logtail配置

image.png

输入Logtail配置名称、日志路径、Nginx日志配置,输入日志样例

120.55.87.13 -- [30/Jun/2023:20:50:35 +0800] "GET / HTTP/1.1"200612"-""Mozilla/5.0 (X11; Linux x86_64; rv:91.0) Gecko/20100101 Firefox/91.0"

点击校验,

image.png

检验成功后点击【下一步】,到 查询日志分析 继续点击【下一步】

image.png

点击【查询日志】跳转到logstore2023的【查询/分析】可以看到采集到的Nginx的原始日志

image.png

数据脱敏

创建脱敏Logstore

在接入Nginx数据之后我们可以看到日志数据中的敏感信息是可以直接看到的

image.png

这样会造成数据的不安全,那么我们需要对这部分敏感数据进行脱敏操作,按照上一步的操作 创建Logstore 的步骤再次创建logstore202302用于存储脱敏后的数据

image.png

点击新创建的logstore202302

image.png

点击【开启索引】

image.png

开启【全文索引】后点击【确定】

image.png

点击【确认】完成

数据加工

回到原始Nginx日志数据日志库logstore2023,点击【数据加工】

image.png

输入需要处理的Nginx日志字段中的敏感字段处理方案

e_set("remote_addr", regex_replace(v("remote_addr"), grok("(%{IP})"), replace=r"*.*.*.*"))
e_set("remote_user", regex_replace(v("remote_user"), r"(\S)\S+", replace=r"\1****"))

image.png

单击【保存数据加工】,在弹出页面中输入任务名称

image.png

输入【目标名称】选择【目标库】加工范围选择【所有】单击【确定】,注意这里如果没有对角色授权的话需要先授权,授权成功之后点击【确定】,数据加工任务创建完成之后回到脱敏数据的日志库logstore202302,点击【查询/分析】按钮既可以看到脱敏后的数据

image.png

告警设置

添加告警规则

这里我们可以设置告警阈值检测Nginx日志信息,比如在logstore2023输入查询语句

status >=400 | select status, count(*) as cnt group by status 

可以查询到Nginx日志中的400以上错误码的日志信息,点击右上角【另存为告警】

image.png

打开告警配置页面

image.png

点击【确定】告警规则添加成功。

查看告警

告警规则添加成功之后,后续可以通过如下步骤查看告警信息。点击左侧【告警】

image.png

找到我们新建规则的【查看】可以看到实际的告警次数

image.png

点击【告警历史】的【查看详情】可以查看当前告警信息的详细内容,到这里我们基于日志服务SLS进行的Nginx日志采集,日志信息脱敏以及告警设置就完成了。

写在最后

最后来说一下本次对于日志服务SLS操作的整体感受,基本上整体操作可以参考官方文档的【快速入门】即可完成以上操作,不过在操作过程中,文档中也有描述不详尽的地方,这个时候可以辅助参考官方提供的在线课程 手把手进阶学习日志服务来完成对日志服务的基础操作。

另外,整个日志服务SLS的体系也比较完善,从数据采集、数据存储到数据加工、数据分析最后到告警、可视化及日志应用等,全套内容很丰富很全面,接入企业应用的话参考官方文档就够了,赞一个。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
6月前
|
存储 监控 Java
Spring6入门 + Log4j2
Spring6入门 + Log4j2
|
存储 监控 NoSQL
Redis从入门到精通之Redis 慢查询日志
慢查询日志是 Redis 提供的一个用于观察系统性能的功能,这个功能的实现非常简单,这里我们也简单地讲解一下。 本章先介绍和慢查询功能相关的数据结构和变量,然后介绍 Redis 是如何记录命令的执行时间,以及如何为执行超过限制事件的命令记录慢查询日志的。
1021 9
|
6月前
|
SQL 存储 关系型数据库
轻松入门MySQL:深入理解MySQL日志,二进制日志、中继日志、回滚日志和重做日志(19)
轻松入门MySQL:深入理解MySQL日志,二进制日志、中继日志、回滚日志和重做日志(19)
688 0
|
10天前
|
Java 中间件
SpringBoot入门(6)- 添加Logback日志
SpringBoot入门(6)- 添加Logback日志
45 5
|
3月前
|
Java Shell Linux
【Linux入门技巧】新员工必看:用Shell脚本轻松解析应用服务日志
关于如何使用Shell脚本来解析Linux系统中的应用服务日志,提供了脚本实现的详细步骤和技巧,以及一些Shell编程的技能扩展。
55 0
【Linux入门技巧】新员工必看:用Shell脚本轻松解析应用服务日志
|
3月前
|
XML Java Maven
Spring5入门到实战------16、Spring5新功能 --整合日志框架(Log4j2)
这篇文章是Spring5框架的入门到实战教程,介绍了Spring5的新功能——整合日志框架Log4j2,包括Spring5对日志框架的通用封装、如何在项目中引入Log4j2、编写Log4j2的XML配置文件,并通过测试类展示了如何使用Log4j2进行日志记录。
Spring5入门到实战------16、Spring5新功能 --整合日志框架(Log4j2)
|
5月前
|
Java 数据库连接 数据库
Spring日志完结篇,MyBatis操作数据库(入门)
Spring日志完结篇,MyBatis操作数据库(入门)
|
6月前
|
SQL 调度 Swift
【深入浅出】阿里自研开源搜索引擎Havenask日志查询
本次分享内容为Havenask的日志查询,文章包含了具体查询步骤和举例、实操演示,希望可以帮助大家更好的使用Havenask。
55362 0
|
6月前
|
监控 Docker 容器
Docker从入门到精通:Docker log 命令学习
了解 Docker 日志管理对容器监控至关重要。`docker logs` 命令用于查看和管理容器日志,例如,`docker logs <container_name>` 显示容器日志,`-f` 或 `--follow` 实时跟踪日志,`--tail` 显示指定行数,`--timestamps` 添加时间戳,`--since` 按日期筛选。Docker 支持多种日志驱动,如 `syslog`,可通过 `--log-driver` 配置。有效管理日志能提升应用程序的稳定性和可维护性。
|
存储 Java C语言
Spring Boot入门(十一) 之 SpringBoot日志默认配置
Spring Boot入门(十一) 之 SpringBoot日志默认配置
139 0

相关产品

  • 日志服务