日志服务SLS实现云产品可观测实践

本文涉及的产品
云服务器 ECS,每月免费额度200元 3个月
对象存储 OSS,20GB 3个月
云服务器ECS,u1 2核4GB 1个月
简介: 认证考试:日志服务SLS实现云产品可观测实践

实验场景:

本实验帮助您快速了解日志服务SLS的使用场景,通过Logtail完成Demo应用的日志与指标数据采集,并完成采集后的数据可视化、数据加工、数据投递等常用场景,帮助您快速构建属于自己的可观测平台。

image.png

  1. 部署Demo应用,产生Demo应用日志数据。

  2. 创建SLS Project,创建两个Logstore,一个用于存放Demo应用日志(后续简称“采集Logstore”),另一个用于Demo应用日志数据加工后存储使用(后续简称“加工Logstore”),创建一个MetricStore用于存放ECS指标。

  3. 创建OSS Bucket用于存放加工Logstore投递的数据。(沙箱自动创建)

  4. ECS实例安装Logtail用于采集Demo应用日志和ECS指标使用。

  5. 使用数据查询加工语句统计每分钟日志level为ERROR数量,并通过可视化柱状图展示。

  6. 使用数据加工功能处理采集Logstore日志中的phone_number、e_mail、user_id等敏感字段数据,加工完后的数据存放在加工Logstore

  7. 使用数据投递功能,投递加工Logstore数据到OSS Bucket。


实验步骤:

切换至Web Terminal。输入ECS登录的用户名和密码进行登录。

下载安装Demo应用,并启动Demo应用。

wget https://labfileapp.oss-cn-hangzhou.aliyuncs.com/clouder/sls_demo.zip

显示100%,且saved 即表示下载完成,如下图所示。

image.png

执行如下代码,解压应用。

yum -y install unzip

image.png

unzip sls_demo.zip

image.png

执行如下代码,部署Demo应用。创建Demo应用文件夹,拷贝下载sls_demo_app到Demo应用文件夹,并赋予所有人sls_demo_app可执行权限。

mkdir /etc/demo && cp sls_demo/sls_demo_app /etc/demo/ && chmod a+x /etc/demo/sls_demo_app&&cp sls_demo/demo.service /etc/systemd/system/

image.png

执行如下代码,启动Demo应用服务。拷贝Demo应用服务demo.service到指定目录,设置启动Demo应用服务并设置开启启动。

systemctl enable demo.service && systemctl start demo.service

image.png

执行如下代码,验证Demo应用服务是否启动成功。

systemctl status demo.service

image.png

执行如下代码,查看日志路径。

ls /tmp/demo.log

image.png

执行如下代码,查看日志是否产生。

tail -f /tmp/demo.log

image.png

接下来对SLS资源进行调整

在浏览器地址栏输入如下链接,跳转链接即可进入SLS管理控制台。

https://sls.console.aliyun.com/

点击创建Project按钮,进行Project的创建。

image.png

选择Project所属地域(SLS Project所属地域需要和ECS处于同一个地域!!!),填入Project名称,点击创建,完成Project的创建。

image.png

如下图所示代表SLS Project成功创建,选择关闭即可,后续通过手动方式创建Logstore。

image.png

通过Project列表,选择上一步创建的Project,点击Project名称,即可进入Project。

image.png

接下来创建两个Logstore,一个用于Demo应用日志采集、可视化、数据加工源、数据投递使用(后续简称“采集Logstore”),另一个用于Demo应用日志数据加工后存储使用(后续简称“加工Logstore”)。可以通过下方的表格记录两个Logstore的名称,方便实验时区分两个Logstore的使用场景。

image.png

选择左侧导航菜单,进入Logstore创建向导,填入Logstore名称,完成Logstore的创建。

image.png

image.png

如下图所示代表Logstore创建成功,点击取消按钮即可,后续通过手动方式完成数据接入。

image.png

重复上一步骤,再次创建Logstore(名称为process),最终可以看到日志库Logstore数量为两个。

image.png

image.png

选择左侧导航菜单,进入MerticStore创建向导,填入MerticStore名称,完成MerticStore的创建。

选择MerticStore菜单,点击+号跳出创建MerticStore对话框,填写MetricStore名称为metricstore,点击确定完成MetricStore的创建。

image.png

如下图所示代表MetricStore创建成功,点击取消按钮即可,后续通过手动方式完成数据接入。

image.png

选择左侧导航菜单,回到Logstore中,点击采集Logstore,点击数据接入菜单,选择Logtail配置菜单,点击添加Logtail配置。

image.png

在快速数据接入向导对话框中,点击全部产品菜单,选择日志格式为“JSON-文本日志”。到此已经完成第一步选择日志空间。

image.png

确定后进入到如下页面,创建机器组

image.png

创建机器组步骤一。选择ECS机器,并手动选择实例完成Logtail的安装。

image.png

image.png

勾选ECS实例,ECS实例可通过实验左侧导航栏,选择云产品资源,ECS实例ID获取。点击创建生成自动安装Logtail命令参数,自动安装参数生成完毕后点击确定。

image.png

如下所示安装成功

image.png

创建机器组步骤二。填入机器组名称,机器组标识为默认选项即可,即IP地址作为机器组标识。到此已经完成创建机器组步骤。

image.png

image.png

Logtail配置:设置配置名称,设置日志路径,其余选项为默认值,点击下一步,完成Logtail配置。

填入配置名称。设置日志路径,Demo应用日志路径为/tmp/demo.log,最大监控目录默认为10,监控范围为0-10,所以小浩设置的日志路径/tmp/**/demo.log能匹配到/tmp/demo.log。

image.png

点击刷新直到有日志数据被采集和存储。点击自动生成索引。

image.png

如下图所示表示已完成采集Demo应用的配置。

image.png

选择左侧导航菜单,回到MetricStore,点击数据接入菜单,选择Logtail配置菜单,点击添加Logtail配置。

image.png

在快速数据接入向导对话框中,点击全部产品菜单,选择主机监控。到此已经完成第一步选择日志空间。

image.png

创建机器组:在采集应用日志时已经完成Logtail安装与机器组的创建,此步选择使用现有机器组即可。

image.png

image.png

数据源设置。会自动生成配置名称和插件配置,点下一步完成数据源设置。

image.png

结束:如下图所示表示已完成ECS主机监控的配置。

image.png

选择左侧导航菜单创建仪表盘。

image.png

使用默认布局,填写仪表盘名称,点击确认完成仪表盘的创建。

image.png

在仪表盘列表中点击上一步创建的仪表盘,点击添加新的图表,进入图表编辑模式。

image.png

①图表类型选柱状图,查询分析②选择Logstore(SQL),③选择采集Logstore。

image.png

图表编辑模式中,输入查询分析语句,完成图表配置。

level:ERROR| SELECT COUNT(*) AS "每分钟错误日志总数", date_format(__time__-__time__ %60,'%H:%i:%s') as time GROUP BY time ORDER BY time

image.png

image.png

选择左侧导航菜单,回到Logstore,选择数据处理,点击加工菜单,新建数据加工。

①选择日志存储,点击②“采集Logstore”展开Logstore菜单,选择③新建数据加工。

image.png

填写数据加工语句,完成数据加工,通过预览数据判断是否符合数据加工预期。

数据加工语句,删除日志中的user_id。

e_drop_fields("user_id")

①为原始日志可以看到有user_id字段,②为填写加工语句栏,填写加工语句后,可通过③预览数据查看加工后的数据是否预期(user_id是否删除)。

image.png

④为加工结果,可以看到加工后的日志user_id已经被删除。⑤为运行预览数据数据加工运行结果信息汇总。

image.png

点击①保存数据加工,创建数据加工任务。

image.png

填写数据加工①任务名称,存储目标点击②添加按钮配置数据加工后存储的Logstore。

image.png

存储目标需要配置①目标名称,②目标Project选择本实验创建的Project,③目标库为“加工Logstore”,选择加工范围菜单时间范围选择为④所有,点击⑤确定完成数据加工任务创建。

image.png

image.png

点击加工菜单,点击上一步创建的加工任务,即可查看数据加工概览情况。

选择左侧导航菜单,选择数据处理点击导出菜单,选择OSS(对象存储),新建OSS投递功能任务。

①选择日志存储,点击②“加工Logstore”展开Logstore菜单,点击导出,选择③OSS(对象存储)。

image.png

①配置OSS投递名称为oss-deliver,②填写OSS Bucket名称(上一步获取),其余选项默认即可,点击③确定完成。

image.png

点击OSS(对象存储)找到创建的任务,点击任务通过数据投递概览验证是否投递成功。同时也可以登录OSS控制台,验证投递Bucket是否有数据存在。

image.png

实验完毕,交卷。

证书如下:

image.png

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
3月前
电子书阅读分享《Elasticsearch全观测技术解析与应用(构建日志、指标、APM统一观测平台)》
电子书阅读分享《Elasticsearch全观测技术解析与应用(构建日志、指标、APM统一观测平台)》
235 1
|
2月前
|
Prometheus 监控 Kubernetes
Kubernetes 集群监控与日志管理实践
【2月更文挑战第29天】 在微服务架构日益普及的当下,Kubernetes 已成为容器编排的事实标准。然而,随着集群规模的扩大和业务复杂度的提升,有效的监控和日志管理变得至关重要。本文将探讨构建高效 Kubernetes 集群监控系统的策略,以及实施日志聚合和分析的最佳实践。通过引入如 Prometheus 和 Fluentd 等开源工具,我们旨在为运维专家提供一套完整的解决方案,以保障系统的稳定性和可靠性。
|
5月前
|
存储 缓存 Java
浅析JAVA日志中的几则性能实践与原理解释
本篇文章通过几个技术点说明日志记录过程中的性能实践,计算机领域的性能往往都遵循着冰山法则,即你能看得见的、程序员能感知的只是其中的一小部分,还有大量的细节隐藏在冰山之下。
677 1
|
2天前
|
存储 监控 Apache
查询提速11倍、资源节省70%,阿里云数据库内核版 Apache Doris 在网易日志和时序场景的实践
网易的灵犀办公和云信利用 Apache Doris 改进了大规模日志和时序数据处理,取代了 Elasticsearch 和 InfluxDB。Doris 实现了更低的服务器资源消耗和更高的查询性能,相比 Elasticsearch,查询速度提升至少 11 倍,存储资源节省达 70%。Doris 的列式存储、高压缩比和倒排索引等功能,优化了日志和时序数据的存储与分析,降低了存储成本并提高了查询效率。在灵犀办公和云信的实际应用中,Doris 显示出显著的性能优势,成功应对了数据增长带来的挑战。
查询提速11倍、资源节省70%,阿里云数据库内核版 Apache Doris 在网易日志和时序场景的实践
|
1月前
|
运维 Prometheus 监控
Kubernetes 集群的监控与日志管理实践
【4月更文挑战第8天】在微服务架构日益普及的背景下,容器化技术成为支撑快速迭代和部署的关键。其中,Kubernetes 作为容器编排的事实标准,承载着服务的稳定性和扩展性。然而,随着集群规模的扩大,如何有效监控和管理集群状态、确保服务的高可用性成为一个挑战。本文将深入探讨 Kubernetes 集群的监控和日志管理策略,从系统资源利用到服务健康检查,再到日志的收集与分析,提供一个全面的运维视角,帮助运维人员构建一个健壮、可观察的 Kubernetes 环境。
21 0
|
2月前
|
Prometheus 监控 Kubernetes
Kubernetes 集群的监控与日志管理实践
【2月更文挑战第31天】 在微服务架构日益普及的今天,容器编排工具如Kubernetes已成为部署、管理和扩展容器化应用的关键平台。然而,随着集群规模的扩大和业务复杂性的增加,如何有效监控集群状态、及时响应系统异常,以及管理海量日志信息成为了运维人员面临的重要挑战。本文将深入探讨 Kubernetes 集群监控的最佳实践和日志管理的高效策略,旨在为运维团队提供一套系统的解决思路和操作指南。
33 0
|
2月前
|
存储 消息中间件 监控
Zoom 基于Apache Hudi 的流式日志处理实践
Zoom 基于Apache Hudi 的流式日志处理实践
46 1
|
8月前
|
监控 安全 BI
使用日志服务SLS进行OSS可观测分析
本场景主要介绍如何使用SLS提供的CloudLens for OSS功能针对对象存储OSS进行可观测分析,包括资源用量、访问分析、安全分析、异常检测等角度。
366 0
|
4月前
|
存储 人工智能 运维
SLS 大模型可观测&安全推理审计标准解决方案
本文介绍大模型可观测&安全推理审计解决方案和Demo演示,SLS 提供全面的 LLM 监控和日志记录功能。监控大模型使用情况和性能,自定义仪表盘;SLS 汇总 Actiontrail 事件、云产品可观测日志、LLM 网关明细日志、详细对话明细日志、Prompt Trace 和推理实时调用明细等数据,建设完整统一的大模型可观测方案,为用户的大模型安全推理审计提供全面合规支持。
103960 0
|
5月前
|
存储 人工智能 监控
日志服务 SLS 深度解析:拥抱云原生和 AI,基于 SLS 的可观测分析创新
阿里云日志服务 SLS 全面拥抱云原生和 AI,近一年持续进行技术创新,此次云栖大会上发布了在稳定可靠、高性能、开放易用、AI 加持、低成本等五个方面的全面升级。
102026 4