日志服务SLS入门指南

简介: 简述日志服务SLS及日志采集、信息脱敏和告警接入相关操作

什么是日志服务SLS

在说到日志服务SLS之前,首先了解一下什么是日志服务SLS?日志服务SLS是云原生观测与分析平台,为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务。日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能,全面提升您在研发、运维、运营、安全等场景的数字化能力。关于日志服务的更多内容可以参考官方文档:日志服务SLS 日志服务SLS的官方首页地址:https://www.aliyun.com/product/sls 在了解了什么是日志服务SLS之后,下面我们就开始上手操作吧。

Nginx日志采集

在进行Nginx日志采集之前,我们首先需要部署Nginx服务

部署Nginx

安装Nginx运行需要的插件

# 安装gccyum -y install gcc# 安装pcreyum install -y pcre pcre-devel
# 安装zlibyum install -y zlib zlib-devel

下载Nginx安装包并解压

# 下载安装包wget http://nginx.org/download/nginx-1.17.10.tar.gz
# 解压tar -zxvf nginx-1.17.10.tar.gz

编译安装Nginx

cd nginx-1.17.10 
./configure 
make && make install

启动Nginx

cd /usr/local/nginx/
sbin/nginx ;tail -f ./logs/access.log

启动完成之后打开浏览器输入Nginx部署的云服务器ECS的公网地址即可以看到请求日志信息

image.png

创建Logstore

登录日志服务SLS控制台:https://sls.console.aliyun.com/ 点击你想要操作的Project项目名称

image.png

点击日志库 + 号,输入Logstore名称及勾选WebTracking ,其他的默认即可

image.png

点击【确定】之后

image.png

这里暂时先不进行数据接入,因此点击【取消】

接入数据

再次回到日志服务SLS控制台首页,选择【Nginx-文本日志】

image.png

可以看到Nginx接入数据配置,

image.png

选择项目Project以及刚才创建的Logstore,点击【下一步】

image.png

这里选择【手动选择实例】,选择你需要操作的云服务器ECS,点击【创建】在弹出的弹框提示中选择【继续创建】

image.png

看到成功状态之后点击【确认安装完毕】

image.png

输入名称,点击【下一步】进入机器组配置,其中应用机器组就选我们刚才创建的机器组【test2023】,点击【下一步】进入Logtail配置

image.png

输入Logtail配置名称、日志路径、Nginx日志配置,输入日志样例

120.55.87.13 -- [30/Jun/2023:20:50:35 +0800] "GET / HTTP/1.1"200612"-""Mozilla/5.0 (X11; Linux x86_64; rv:91.0) Gecko/20100101 Firefox/91.0"

点击校验,

image.png

检验成功后点击【下一步】,到 查询日志分析 继续点击【下一步】

image.png

点击【查询日志】跳转到logstore2023的【查询/分析】可以看到采集到的Nginx的原始日志

image.png

数据脱敏

创建脱敏Logstore

在接入Nginx数据之后我们可以看到日志数据中的敏感信息是可以直接看到的

image.png

这样会造成数据的不安全,那么我们需要对这部分敏感数据进行脱敏操作,按照上一步的操作 创建Logstore 的步骤再次创建logstore202302用于存储脱敏后的数据

image.png

点击新创建的logstore202302

image.png

点击【开启索引】

image.png

开启【全文索引】后点击【确定】

image.png

点击【确认】完成

数据加工

回到原始Nginx日志数据日志库logstore2023,点击【数据加工】

image.png

输入需要处理的Nginx日志字段中的敏感字段处理方案

e_set("remote_addr", regex_replace(v("remote_addr"), grok("(%{IP})"), replace=r"*.*.*.*"))
e_set("remote_user", regex_replace(v("remote_user"), r"(\S)\S+", replace=r"\1****"))

image.png

单击【保存数据加工】,在弹出页面中输入任务名称

image.png

输入【目标名称】选择【目标库】加工范围选择【所有】单击【确定】,注意这里如果没有对角色授权的话需要先授权,授权成功之后点击【确定】,数据加工任务创建完成之后回到脱敏数据的日志库logstore202302,点击【查询/分析】按钮既可以看到脱敏后的数据

image.png

告警设置

添加告警规则

这里我们可以设置告警阈值检测Nginx日志信息,比如在logstore2023输入查询语句

status >=400 | select status, count(*) as cnt group by status 

可以查询到Nginx日志中的400以上错误码的日志信息,点击右上角【另存为告警】

image.png

打开告警配置页面

image.png

点击【确定】告警规则添加成功。

查看告警

告警规则添加成功之后,后续可以通过如下步骤查看告警信息。点击左侧【告警】

image.png

找到我们新建规则的【查看】可以看到实际的告警次数

image.png

点击【告警历史】的【查看详情】可以查看当前告警信息的详细内容,到这里我们基于日志服务SLS进行的Nginx日志采集,日志信息脱敏以及告警设置就完成了。

写在最后

最后来说一下本次对于日志服务SLS操作的整体感受,基本上整体操作可以参考官方文档的【快速入门】即可完成以上操作,不过在操作过程中,文档中也有描述不详尽的地方,这个时候可以辅助参考官方提供的在线课程 手把手进阶学习日志服务来完成对日志服务的基础操作。

另外,整个日志服务SLS的体系也比较完善,从数据采集、数据存储到数据加工、数据分析最后到告警、可视化及日志应用等,全套内容很丰富很全面,接入企业应用的话参考官方文档就够了,赞一个。

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
相关文章
|
存储 消息中间件 监控
阿里云sls日志服务简介和使用流程
阿里云SLS(Simple Log Service)是一种高度可扩展的、低成本的日志托管服务,它提供了全面的日志采集、存储、分析和呈现功能。阿里云SLS是全球首个在公共云上提供日志服务的企业,它具有高可靠性、高稳定性和高安全性等特点,可满足不同企业的日志需求。
|
关系型数据库 MySQL 分布式数据库
你常听说的WAL到底是什么
你常听说的WAL到底是什么
1064 2
|
存储 监控 数据可视化
开发者如何使用日志服务 SLS
【10月更文挑战第17天】开发者如何使用日志服务 SLS
3171 4
|
3月前
|
弹性计算 运维 监控
阿里云监控使用
阿里云云监控(CloudMonitor)是实时监控云资源及自定义指标的SaaS服务,支持ECS、数据库等核心组件的性能监控(CPU/内存/磁盘等)。主要功能包括:1)通过Agent实现主机监控数据可视化;2)报警服务可配置多级联系人组,基于阈值规则自动触发告警通知;3)提供自定义监控大屏功能,支持多指标可视化展示;4)生成ECS巡检报告,评估安全合规性与性能状态。该服务帮助用户快速发现异常,保障业务稳定运行,适用于运维监控、性能优化及合规审计场景。
|
监控 容灾 算法
阿里云 SLS 多云日志接入最佳实践:链路、成本与高可用性优化
本文探讨了如何高效、经济且可靠地将海外应用与基础设施日志统一采集至阿里云日志服务(SLS),解决全球化业务扩展中的关键挑战。重点介绍了高性能日志采集Agent(iLogtail/LoongCollector)在海外场景的应用,推荐使用LoongCollector以获得更优的稳定性和网络容错能力。同时分析了多种网络接入方案,包括公网直连、全球加速优化、阿里云内网及专线/CEN/VPN接入等,并提供了成本优化策略和多目标发送配置指导,帮助企业构建稳定、低成本、高可用的全球日志系统。
1224 55
|
6月前
|
运维 监控 数据可视化
云监控CMS:全方位监控体系搭建
本文介绍如何基于云监控CMS构建全方位监控体系,涵盖基础设施、应用及业务三层架构。通过主机监控、云产品监控保障底层稳定,自定义监控满足个性化需求,结合告警管理与Dashboard可视化,实现全链路实时监控与异常预警。提供企业级架构模板,助力快速搭建高效、可扩展的智能监控系统。(238字)
231 0
|
存储 缓存 搜索推荐
HTTP500代码怎么解决?常见的5xx网页错误及其原因
本文介绍了如何修复HTTP 500错误及常见的5xx网页错误。500错误表示服务器无法处理请求,可能由文件权限、脚本错误、数据库连接或配置问题引起。作为用户,可尝试重新加载页面、检查URL或清除缓存;作为网站所有者,需检查`.htaccess`文件、服务器日志、插件冲突及PHP版本等。此外,文章还列举了其他5xx错误(如502、503、504等)及其原因,帮助定位和解决服务器端问题,避免影响流量与搜索引擎排名。
10038 4
|
存储 自然语言处理 数据库
ClickHouse中的倒排索引能解决你什么问题?
ClickHouse中的倒排索引能解决你什么问题?
38736 3
ClickHouse中的倒排索引能解决你什么问题?
|
存储 容器
Aliyun日志sls接入总结
阿里云接入经验总结
1377 0
|
运维 监控 BI
卓越架构之FinOps最佳实践
本文探讨了云成本管理的趋势和FinOps的最佳实践。随着云计算的普及,传统的IT管理模式已无法适应按需使用和按量付费的新模式,导致企业面临资源浪费和成本失控的风险。FinOps作为一种管理理念,强调运维、财务和技术团队的合作,通过数据驱动和业务价值驱动的方式优化云成本。文章介绍了FinOps的核心挑战、最佳实践及技术工具的应用,帮助企业有效管理和优化云成本,实现降本增效。