日志服务SLS体验评测

本文涉及的产品
对象存储 OSS,20GB 3个月
日志服务 SLS,月写入数据量 50GB 1个月
对象存储 OSS,内容安全 1000次 1年
简介: 【8月更文挑战第13天】日志服务SLS体验评测

何为SLS

日志服务顾名思义就是专为日志信息提供服务的一套系统平台,官方的定义:SLS是云原生观测分析平台,为Log/Metric/Trace等数据提供大规模、低成本、实时平台化服务。一站式提供数据采集、加工、分析、告警可视化与投递功能,全面提升研发、运维、运营和安全等场景数字化能力。相比其他日志产品,它拥有如下功能特性,如下图:

快速入手

官网对SLS体验提供了非常详细的文档和实例,让用户能在短时间内全方位快速上手。有关文档和实例罗列如下(点击可达哟):

日志服务SLS官网

日志服务官网文档

云产品可观测平台

日志服务案例中心

手把手进阶学习日志服务

《手把手学习日志服务SLS,云启实验室实战指南》电子书

阿里云智能运维解决方案手册下载

云原生可观测运维解决方案

日志服务 SLS 和开源 ELK 全面对比

官网文档提供的还是蛮多的蛮全的,唯一不足的就是学习的课程录制的时间太久远,不能很好的让新用户直观了解学习产品;在线实验类型单一,当前仅提供了ECS和OSS相关的在线实验,不能让用户全面了解云产品,SLS功能强大,全面支持阿里云产品,如单纯让用户依靠一两个基础视频和在线文档就能很好的了解掌握,怕是难度不小,非常建议加入其他云产品的在线实验。

快速体验

在体验开始之前,有必要先了解SLS的两个重要的基本概念。项目(Project)是日志服务的资源管理单元,日志库(Logstore)是日志服务中日志数据的采集、存储和查询单元。有了这个了解后,我们便可以开始体验之旅了。日志服务提供50多种数据接入方案,不单有阿里云产品,还有物联网设备、移动端、还支持各种开源软件和标准协议的支持,如下图:

这里我将从接入ECS主机日志和接入OSS文件日志两个点展开。

接入ECS主机日志

点击控制台,找到已经试用开通的SLS服务的控制台,点击进入,如下图:

我们开始创建一个项目(Project)和一个日志库(Logstore),在上图中的底部找到Project列表,点击创建Project,如下图:

在所属区域这里要明确接入日志的服务在那个区域运行,因为Project一旦创建后是无法修改地域的,且日志服务不支持跨地域迁移。Project名称也是阿里云地域内全局唯一且创建后不可修改的。完成信息填写后,点击创建即可完成项目的建立,接着创建日志库,如下图:

Logstore属性这里需要注意,默认是关闭的,如果你接入的是业务运行的日志,比如Nginx、Tomcat,建议开启,这里我采集的是主机的hadoop集群运行日志,所以这里保持默认,点击确定完成创建。创建完成后弹出提示接入数据,这里我选择单行-文本日志,如下图:

接下来就进入了日志主机的选择界面,如下图:

眼尖的同学可能发现了上图中的红字(Logtail客户端是日志服务提供的日志采集客户端,请先在机器上进行安装),接入ECS主机日志是通过Logtail来实现的,所以接下来就需要在选择的主机中自动安装该程序。点击页面的创建,稍等片刻即可完成安装。

为了更方便的管理大量主机,接下来需要针对该项日志采集创建一个机器组,这里会自动将之前步骤中的主机IP带过来,如下图:

选中刚才创建的机器组,将其移动到应用服务组中,如下图:

这时你会发现机器心跳是FAIL,也就是检测失败,可以点击自动重试,如下图:

接着可以选择主机中的日志文件路径和日志模式,如下图:

至此一个简单的ECS主机日志采集就将要完成了,点击下一步,可以看到采集的效果,如下图:

点击查询日志,即可进入日志库,如下图:

在这里你可以对采集的日志进行查询与分析、数据加工、消费与投递、可视化、告警、日志审计等操作。接下来我们依次体验下查询与分析、数据加工、可视化。

查询与分析

例如我需要过滤INFO的信息,如下图:

数据加工

在日志库可以发现,日志的所有内容都被放在了单一的 content 字段中,在这种情况下,我们很难对日志的内容进行进一步地分析,比如有哪些应用输出了系统日志、服务启动是否正常、发生次数等等。通过SLS的数据加工,我们可以非常简单地完成上述需求。通过点击上图中的数据加工按钮,便可来到数据加工页面,如下图:

这里我简单的写了个处理逻辑,通过数据加工 DSL 中的正则来完成字段的抽取,点击预览数据便能看到是否满足需求,通过加工结果可以很直观的看到提取的情况。如下图:

可视化

SLS 控制台提供了非常丰富的可视化能力,默认都是灰色的,当需要点击应用那个可视化能力时才会呈现出彩色,这里为了方便展示采用了官网文档中的全彩图。如下所示:

接入OSS日志文件

ECS日志文件的接入体验就到此,接下来我将接入对象存储OSS的日志文件。打开OSS的控制台,创建一个Bucket,并新建一个目录sls用来存储日志文件并设置为公共读,完成日志文件的上传。如下图:

接下来在SLS控制台找到接入数据中的OSS-数据导入,如下图:

这里我就利用同一个项目(Project),新建一个日志库ossfile以区分,并开始导入配置。如下图:

OSS区域尽量选择和SLS在同一个区域,避免跨区域费用的产生及采集效果不佳。点击页面的预览,可以看到采集效果,如下图:

完成接入,来到日志库,看下效果,如下图:

通过两个云产品日志的接入体验,发现真的太好用了,产品功能完全超预期,非常好的解决了传统业务日志孤岛问题,打通了业务日志之间的联系,真正做到了数据的统一接入,并提供了高效弹性一站式的数据功能。

可观测分析

前面在何为SLS中有提到它是云原生观测分析平台,目前支持的仅为阿里云的部分产品。目前支持的云产品可观测,有存储类:SLS\OSS\EBS;网络类:ALB/CLB;数据库类:Redis/RDS/PolarDB。如下图:

这里我选择了CloudLens for SLS,选择需要接入的Project,点击开启即可。如下图:

释放资源

体验完成后,资源一定要记得及时释放,不然会产生不必要的扣费,尤其是体验了日志审计和可观测,一定要按照提示进行清理。下图就是未按时清理导致的扣费。

清理完成后务必检查是否还有遗留的Project未清理,达到如下图效果,说明清理完毕。

体验小结

日志服务SLS基本涵盖了企业服务的全周期全产品线的日志管理,它不但支持多种数据源的接入,而且提供了高效弹性的一站式数据管理功能,可服务于运营、运维、研发、安全等多种场景,支持按需付费,真正做到了降本的同时能够高效提供服务。但有一点不友好的地方是,如果体验了日志审计功能,是无法手动删除的,需要通过Cloud Shell来清理。

新版SLS支持多种产品的云观测,但对于阿里云产品业态来说,云观测需要支持的还很多的,非常期待不久的往后全产品业态都可以支持云观测。

当前的业务场景实战不仅局限与阿里云的产品形态,还涵盖了如何将传统IDC业务日志上传到SLS进行加工分析,非常契合企业发展需求,解决了企业数据散落、无法集中管理的痛点。

SLS是否能与大数据产品联动,例如数仓、实时计算,并实现可观测,解决当前大数据运维门槛高、异常排错周期长的痛点。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
存储 数据采集 运维
🙋我对产品有话说!提交日志服务SLS评测,赢取多种好礼!
体验日志服务SLS产品,写下原创评测,就有机会赢取SKG筋膜枪、定制充电宝、阿里云存储T恤、定制马克杯、阿里云社区定制帆布包、阿里云存储定制头枕等诸多好礼!
311 0
|
11天前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
115 30
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
1月前
|
XML JSON Java
Logback 与 log4j2 性能对比:谁才是日志框架的性能王者?
【10月更文挑战第5天】在Java开发中,日志框架是不可或缺的工具,它们帮助我们记录系统运行时的信息、警告和错误,对于开发人员来说至关重要。在众多日志框架中,Logback和log4j2以其卓越的性能和丰富的功能脱颖而出,成为开发者们的首选。本文将深入探讨Logback与log4j2在性能方面的对比,通过详细的分析和实例,帮助大家理解两者之间的性能差异,以便在实际项目中做出更明智的选择。
216 3
|
3月前
|
Kubernetes Ubuntu Windows
【Azure K8S | AKS】分享从AKS集群的Node中查看日志的方法(/var/log)
【Azure K8S | AKS】分享从AKS集群的Node中查看日志的方法(/var/log)
131 3
|
1月前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1623 14
|
1月前
|
Python
log日志学习
【10月更文挑战第9天】 python处理log打印模块log的使用和介绍
30 0
|
1月前
|
数据可视化
Tensorboard可视化学习笔记(一):如何可视化通过网页查看log日志
关于如何使用TensorBoard进行数据可视化的教程,包括TensorBoard的安装、配置环境变量、将数据写入TensorBoard、启动TensorBoard以及如何通过网页查看日志文件。
190 0
|
1月前
|
存储 分布式计算 NoSQL
大数据-136 - ClickHouse 集群 表引擎详解1 - 日志、Log、Memory、Merge
大数据-136 - ClickHouse 集群 表引擎详解1 - 日志、Log、Memory、Merge
40 0
|
1月前
|
缓存 Linux 编译器
【C++】CentOS环境搭建-安装log4cplus日志组件包及报错解决方案
通过上述步骤,您应该能够在CentOS环境中成功安装并使用log4cplus日志组件。面对任何安装或使用过程中出现的问题,仔细检查错误信息,对照提供的解决方案进行调整,通常都能找到合适的解决之道。log4cplus的强大功能将为您的项目提供灵活、高效的日志管理方案,助力软件开发与维护。
54 0
|
2月前
|
Java
日志框架log4j打印异常堆栈信息携带traceId,方便接口异常排查
日常项目运行日志,异常栈打印是不带traceId,导致排查问题查找异常栈很麻烦。