日志服务SLS体验评测

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介: 【8月更文挑战第13天】日志服务SLS体验评测

何为SLS

日志服务顾名思义就是专为日志信息提供服务的一套系统平台,官方的定义:SLS是云原生观测分析平台,为Log/Metric/Trace等数据提供大规模、低成本、实时平台化服务。一站式提供数据采集、加工、分析、告警可视化与投递功能,全面提升研发、运维、运营和安全等场景数字化能力。相比其他日志产品,它拥有如下功能特性,如下图:

快速入手

官网对SLS体验提供了非常详细的文档和实例,让用户能在短时间内全方位快速上手。有关文档和实例罗列如下(点击可达哟):

日志服务SLS官网

日志服务官网文档

云产品可观测平台

日志服务案例中心

手把手进阶学习日志服务

《手把手学习日志服务SLS,云启实验室实战指南》电子书

阿里云智能运维解决方案手册下载

云原生可观测运维解决方案

日志服务 SLS 和开源 ELK 全面对比

官网文档提供的还是蛮多的蛮全的,唯一不足的就是学习的课程录制的时间太久远,不能很好的让新用户直观了解学习产品;在线实验类型单一,当前仅提供了ECS和OSS相关的在线实验,不能让用户全面了解云产品,SLS功能强大,全面支持阿里云产品,如单纯让用户依靠一两个基础视频和在线文档就能很好的了解掌握,怕是难度不小,非常建议加入其他云产品的在线实验。

快速体验

在体验开始之前,有必要先了解SLS的两个重要的基本概念。项目(Project)是日志服务的资源管理单元,日志库(Logstore)是日志服务中日志数据的采集、存储和查询单元。有了这个了解后,我们便可以开始体验之旅了。日志服务提供50多种数据接入方案,不单有阿里云产品,还有物联网设备、移动端、还支持各种开源软件和标准协议的支持,如下图:

这里我将从接入ECS主机日志和接入OSS文件日志两个点展开。

接入ECS主机日志

点击控制台,找到已经试用开通的SLS服务的控制台,点击进入,如下图:

我们开始创建一个项目(Project)和一个日志库(Logstore),在上图中的底部找到Project列表,点击创建Project,如下图:

在所属区域这里要明确接入日志的服务在那个区域运行,因为Project一旦创建后是无法修改地域的,且日志服务不支持跨地域迁移。Project名称也是阿里云地域内全局唯一且创建后不可修改的。完成信息填写后,点击创建即可完成项目的建立,接着创建日志库,如下图:

Logstore属性这里需要注意,默认是关闭的,如果你接入的是业务运行的日志,比如Nginx、Tomcat,建议开启,这里我采集的是主机的hadoop集群运行日志,所以这里保持默认,点击确定完成创建。创建完成后弹出提示接入数据,这里我选择单行-文本日志,如下图:

接下来就进入了日志主机的选择界面,如下图:

眼尖的同学可能发现了上图中的红字(Logtail客户端是日志服务提供的日志采集客户端,请先在机器上进行安装),接入ECS主机日志是通过Logtail来实现的,所以接下来就需要在选择的主机中自动安装该程序。点击页面的创建,稍等片刻即可完成安装。

为了更方便的管理大量主机,接下来需要针对该项日志采集创建一个机器组,这里会自动将之前步骤中的主机IP带过来,如下图:

选中刚才创建的机器组,将其移动到应用服务组中,如下图:

这时你会发现机器心跳是FAIL,也就是检测失败,可以点击自动重试,如下图:

接着可以选择主机中的日志文件路径和日志模式,如下图:

至此一个简单的ECS主机日志采集就将要完成了,点击下一步,可以看到采集的效果,如下图:

点击查询日志,即可进入日志库,如下图:

在这里你可以对采集的日志进行查询与分析、数据加工、消费与投递、可视化、告警、日志审计等操作。接下来我们依次体验下查询与分析、数据加工、可视化。

查询与分析

例如我需要过滤INFO的信息,如下图:

数据加工

在日志库可以发现,日志的所有内容都被放在了单一的 content 字段中,在这种情况下,我们很难对日志的内容进行进一步地分析,比如有哪些应用输出了系统日志、服务启动是否正常、发生次数等等。通过SLS的数据加工,我们可以非常简单地完成上述需求。通过点击上图中的数据加工按钮,便可来到数据加工页面,如下图:

这里我简单的写了个处理逻辑,通过数据加工 DSL 中的正则来完成字段的抽取,点击预览数据便能看到是否满足需求,通过加工结果可以很直观的看到提取的情况。如下图:

可视化

SLS 控制台提供了非常丰富的可视化能力,默认都是灰色的,当需要点击应用那个可视化能力时才会呈现出彩色,这里为了方便展示采用了官网文档中的全彩图。如下所示:

接入OSS日志文件

ECS日志文件的接入体验就到此,接下来我将接入对象存储OSS的日志文件。打开OSS的控制台,创建一个Bucket,并新建一个目录sls用来存储日志文件并设置为公共读,完成日志文件的上传。如下图:

接下来在SLS控制台找到接入数据中的OSS-数据导入,如下图:

这里我就利用同一个项目(Project),新建一个日志库ossfile以区分,并开始导入配置。如下图:

OSS区域尽量选择和SLS在同一个区域,避免跨区域费用的产生及采集效果不佳。点击页面的预览,可以看到采集效果,如下图:

完成接入,来到日志库,看下效果,如下图:

通过两个云产品日志的接入体验,发现真的太好用了,产品功能完全超预期,非常好的解决了传统业务日志孤岛问题,打通了业务日志之间的联系,真正做到了数据的统一接入,并提供了高效弹性一站式的数据功能。

可观测分析

前面在何为SLS中有提到它是云原生观测分析平台,目前支持的仅为阿里云的部分产品。目前支持的云产品可观测,有存储类:SLS\OSS\EBS;网络类:ALB/CLB;数据库类:Redis/RDS/PolarDB。如下图:

这里我选择了CloudLens for SLS,选择需要接入的Project,点击开启即可。如下图:

释放资源

体验完成后,资源一定要记得及时释放,不然会产生不必要的扣费,尤其是体验了日志审计和可观测,一定要按照提示进行清理。下图就是未按时清理导致的扣费。

清理完成后务必检查是否还有遗留的Project未清理,达到如下图效果,说明清理完毕。

体验小结

日志服务SLS基本涵盖了企业服务的全周期全产品线的日志管理,它不但支持多种数据源的接入,而且提供了高效弹性的一站式数据管理功能,可服务于运营、运维、研发、安全等多种场景,支持按需付费,真正做到了降本的同时能够高效提供服务。但有一点不友好的地方是,如果体验了日志审计功能,是无法手动删除的,需要通过Cloud Shell来清理。

新版SLS支持多种产品的云观测,但对于阿里云产品业态来说,云观测需要支持的还很多的,非常期待不久的往后全产品业态都可以支持云观测。

当前的业务场景实战不仅局限与阿里云的产品形态,还涵盖了如何将传统IDC业务日志上传到SLS进行加工分析,非常契合企业发展需求,解决了企业数据散落、无法集中管理的痛点。

SLS是否能与大数据产品联动,例如数仓、实时计算,并实现可观测,解决当前大数据运维门槛高、异常排错周期长的痛点。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
存储 数据采集 运维
🙋我对产品有话说!提交日志服务SLS评测,赢取多种好礼!
体验日志服务SLS产品,写下原创评测,就有机会赢取SKG筋膜枪、定制充电宝、阿里云存储T恤、定制马克杯、阿里云社区定制帆布包、阿里云存储定制头枕等诸多好礼!
315 0
|
1月前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
271 30
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
6天前
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
|
2月前
|
XML JSON Java
Logback 与 log4j2 性能对比:谁才是日志框架的性能王者?
【10月更文挑战第5天】在Java开发中,日志框架是不可或缺的工具,它们帮助我们记录系统运行时的信息、警告和错误,对于开发人员来说至关重要。在众多日志框架中,Logback和log4j2以其卓越的性能和丰富的功能脱颖而出,成为开发者们的首选。本文将深入探讨Logback与log4j2在性能方面的对比,通过详细的分析和实例,帮助大家理解两者之间的性能差异,以便在实际项目中做出更明智的选择。
301 3
|
4月前
|
Kubernetes Ubuntu Windows
【Azure K8S | AKS】分享从AKS集群的Node中查看日志的方法(/var/log)
【Azure K8S | AKS】分享从AKS集群的Node中查看日志的方法(/var/log)
139 3
|
16天前
|
存储 监控 安全
什么是事件日志管理系统?事件日志管理系统有哪些用处?
事件日志管理系统是IT安全的重要工具,用于集中收集、分析和解释来自组织IT基础设施各组件的事件日志,如防火墙、路由器、交换机等,帮助提升网络安全、实现主动威胁检测和促进合规性。系统支持多种日志类型,包括Windows事件日志、Syslog日志和应用程序日志,通过实时监测、告警及可视化分析,为企业提供强大的安全保障。然而,实施过程中也面临数据量大、日志管理和分析复杂等挑战。EventLog Analyzer作为一款高效工具,不仅提供实时监测与告警、可视化分析和报告功能,还支持多种合规性报告,帮助企业克服挑战,提升网络安全水平。
|
2月前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1684 14
|
28天前
|
存储 监控 安全
什么是日志管理,如何进行日志管理?
日志管理是对IT系统生成的日志数据进行收集、存储、分析和处理的实践,对维护系统健康、确保安全及获取运营智能至关重要。本文介绍了日志管理的基本概念、常见挑战、工具的主要功能及选择解决方案的方法,强调了定义管理目标、日志收集与分析、警报和报告、持续改进等关键步骤,以及如何应对数据量大、安全问题、警报疲劳等挑战,最终实现日志数据的有效管理和利用。
|
2月前
|
Python
log日志学习
【10月更文挑战第9天】 python处理log打印模块log的使用和介绍
40 0
|
2月前
|
数据可视化
Tensorboard可视化学习笔记(一):如何可视化通过网页查看log日志
关于如何使用TensorBoard进行数据可视化的教程,包括TensorBoard的安装、配置环境变量、将数据写入TensorBoard、启动TensorBoard以及如何通过网页查看日志文件。
257 0