使用CloudLens for OSS构建Bucket资产可观测性实践

简介: 本文介绍通过CloudLens for OSS计量日志的自定义查询分析,来构建不同Bucket之间资产趋势可观测性对比分析。

1. CloudLens for OSS介绍

日志服务联合阿里云OSS推出CloudLens for OSS,支持Bucket粒度的统一管理视图,支持资源用量、访问分析、异常检测、安全分析等可视化分析能力,提供场景化运维管理,实现Bucket资产的可观测性。
本文介绍通过CloudLens for OSS计量日志的自定义查询分析,来构建不同Bucket之间资产趋势可观测性对比分析。

2. 需求场景描述

通常使用OSS时,不同的Bucket用于存放业务系统中不同应用的数据。需要在一个视图上能够看到OSS中,某一时间段内不同Bucket之间整体存储容量的趋势对比,用于判断不同应用Bucket数据量走势,从而进行相应的业务应用规划操作。
但是在OSS控制台概览的【存储用量】界面,只能看到所有Bucket的总存储容量趋势,无法看到所有单个Bucket纬度的存储容量对比趋势,如下图所示。
image.png
在Cloud Lens for OSS【报表中心】中【资源用量】的界面,同样也是只能看到所有Bucket存储容量综合趋势,无法看到各Bucket之间的对比趋势,如下入所示。
image.png

3. 解决方案呈现

3.1 前置资源准备

  • 已开通阿里云对象存储OSS服务
  • 已创建不同的Bucket并上传相应的文件
  • 已开通阿里云日志服务SLS
  • 已开通SLS的CloudLens for OSS的功能

注:在开通CloudLens for OSS时,会默认开通计量日志和时序监控数据日志的功能,访问明细日志需要手动单独开通。CloudLens for OSS支持计量日志(最近60天免费)、时序监控数据(最近60天免费)、访问明细日志(最近7天免费,限额900GB/天的日志写入额度(如果一条日志为1KB,约为9亿条))的查询分析。超出部分,由日志服务单独收费。

3.2 解决方案内容

由于查看OSS的存储容量趋势,需要对OSS的计量日志进行查询和统计分析,因此需要在Cloud Lens for OSS【查询分析】功能中的【计量日志】界面,对OSS的计量日志进行自定义查询和分析。
可以自定义查询分析所有Bucket或指定Bucket之间的存储容量趋势对比,相应的查询分析语句如下。
image.png
返回的结果如下图所示,在统计图表中可以到,在本周内所有Bucket之间存储容量的对比趋势。
image.png
image.png
返回的结果如下图所示,在统计图表中可以到,在本周内重点关注的4个业务应用的Bucket:bucket1、bucket2、bucket3和bucket4之间的存储容量对比趋势。
image.png
以上便通过SLS的Cloud Lens for OSS功能,实现了在一个界面中能够看到OSS,某一时间段内不同Bucket之间存储容量的趋势对比,从而可以以此为依据,对业务系统中不同应用的发展趋势进行对比和分析。

4. 方案推广举一反三

通常除了有分析OSS 不同Bucket存储容量对比趋势的需求之外,用户还比较关心的是各个Bucket的外网流传流量、CDN流出流量和GET请求次数。在OSS计量日志中,上述参数对应的日志字段如下图所示,全部字段详情参考日志字段详情
image.png
只需要在SLS的Cloud Lens for OSS功能中,【计量日志】自定义查询分析的输入框里,把之前查询分析存储容量SQL语句中的round(sum(storage/1024/1024), 2) as "存储容量"修改为查询相应参数的语句即可。如统计分析指定Bucket GET请求的趋势,语句可修改为round(sum(get_request), 2) as "GET请求次数",具体SQL语句如下。
image.png
返回的结果即为不同Bucket的GET请求之间的趋势对比。
image.png
同样,也可以对OSS不同Bucket的外网流出流量趋势等参数,通过SLS的Cloud Lens for OSS自定义查询分析,进行统计分析和趋势对比,从而能够让日志数据更好地反哺和赋能于业务的发展。

5. 总结

日志服务SLS的CloudLens for OSS,不仅可以通过对【计量日志】进行自定义查询分析(存储容量、流出流量、请求次数等),用来构建Bucket级别资产可观测性;还可以通过对【访问明细日志】进行自定义查询分析(并发请求数,响应延迟,带宽占用等),用来构建服务端性能指标的可观测。

相关实践学习
对象存储OSS快速上手——如何使用ossbrowser
本实验是对象存储OSS入门级实验。通过本实验,用户可学会如何用对象OSS的插件,进行简单的数据存、查、删等操作。
目录
相关文章
|
8月前
|
存储 人工智能 运维
防御OSS Bucket泄露:RAM权限策略+日志审计+敏感数据扫描三重防护
云存储安全三重防护体系,聚焦RAM权限控制、日志审计与敏感数据扫描,通过策略精控、异常检测与主动扫描构建闭环防御,有效应对配置错误导致的数据泄露风险,提升企业云上数据安全性。
535 0
|
12月前
|
消息中间件 监控 数据挖掘
【有奖实践】轻量消息队列(原 MNS)订阅 OSS 事件实时处理文件变动
当你需要对对象存储 OSS(Object Storage Service)中的文件变动进行实时处理、同步、监听、业务触发、日志记录等操作时,你可以通过设置 OSS 的事件通知规则,自定义关注的文件,并将 OSS 事件推送到轻量消息队列(原 MNS)的队列或主题中,开发者的服务即可及时收到相关通知,并通过消费消息进行后续的业务处理。
288 98
|
6月前
|
存储 安全 对象存储
OSS遭遇滥用:内容涉诈导致bucket被封禁
近期,有诈骗分子批量利用阿里云客户应用系统的文件上传漏洞,将诈骗内容存储到客户开放公开读的OSS Bucket 中,然后利用OSS公共域名的可信特点,诱骗受害者扫码填写个人信息造成财产损失。受害者报案后,因涉嫌参与诈骗链条,客户相关的 OSS Bucket 面临因涉嫌参与诈骗链条封禁风险。
|
8月前
|
存储 缓存 API
从零构建企业知识库问答系统(基于通义灵码+RAG+阿里云OSS的落地实践)
本系统基于RAG技术,结合语义检索与大语言模型,解决企业知识管理中的信息孤岛、检索低效和知识流失问题。采用通义灵码、Milvus与阿里云OSS,实现知识查询效率提升、新员工培训周期缩短及专家咨询减少。支持多模态文档处理,具备高可用架构与成本优化方案,助力企业智能化升级。
1012 3
|
弹性计算 人工智能 数据管理
AI场景下的对象存储OSS数据管理实践
本文介绍了ECS和OSS的操作流程,分为两大部分。第一部分详细讲解了ECS的登录、密码重置、安全组设置及OSSUTIL工具的安装与配置,通过实验创建并管理存储桶,上传下载文件,确保资源及时释放。第二部分则聚焦于OSSFS工具的应用,演示如何将对象存储挂载为磁盘,进行大文件加载与模型训练,强调环境搭建(如Conda环境)及依赖安装步骤,确保实验结束后正确清理AccessKey和相关资源。整个过程注重操作细节与安全性,帮助用户高效利用云资源完成实验任务。
1096 161
|
11月前
|
关系型数据库 数据库 对象存储
Dify实践|Dify on DMS+对象存储OSS,实现多副本部署方案
本文介绍了在DMS上部署Dify的详细步骤,用户可选择一键购买资源或基于现有资源部署Dify,需配置RDS PostgreSQL、Redis、AnalyticDB for PostgreSQL等实例,并设置存储路径和资源规格。文中还提供了具体配置参数说明及操作截图,帮助用户顺利完成部署。
|
12月前
|
消息中间件 对象存储
轻量消息队列(原 MNS)订阅 OSS 事件实践
使用轻量消息队列订阅OSS事件,实时处理文件变动,赢取ins风U型枕(限量500个)。访问活动页面,完成实操并上传截图即可参与领奖。活动时间:即日起至2025年2月28日16:00。奖品数量有限,先到先得,快来报名吧!
219 2
|
弹性计算 数据管理 应用服务中间件
活动实践 | 借助OSS搭建在线教育视频课程分享网站
本教程指导用户在阿里云ECS实例上搭建在线教育网站,包括重置ECS密码、配置安全组、安装Nginx、创建网站页面、上传数据至OSS、开通OSS传输加速、配置生命周期策略及清理资源等步骤,实现高效、低成本的数据管理和网站运营。
活动实践 | 借助OSS搭建在线教育视频课程分享网站
|
存储 人工智能 开发工具
AI场景下的对象存储OSS数据管理实践
本文介绍了对象存储(OSS)在AI业务中的应用与实践。内容涵盖四个方面:1) 对象存储作为AI数据基石,因其低成本和高弹性成为云上数据存储首选;2) AI场景下的对象存储实践方案,包括数据获取、预处理、训练及推理阶段的具体使用方法;3) 国内主要区域的默认吞吐量提升至100Gbps,优化了大数据量下的带宽需求;4) 常用工具介绍,如OSSutil、ossfs、Python SDK等,帮助用户高效管理数据。重点讲解了OSS在AI训练和推理中的性能优化措施,以及不同工具的特点和应用场景。
1129 10
|
存储 人工智能 数据管理
云端问道17期方案教学-AI场景下的对象存储OSS数据管理实践
本文介绍了AI场景下的对象存储OSS数据管理实践,由阿里云技术专家明锦分享。主要内容分为两部分:1) AI场景下对象存储实践方案,包括对象存储的应用、优势及在模型推理中的优化;2) OSS常用工具介绍,如OSSFS、Python SDK、Go SDK等,并详细说明了这些工具的特点和使用场景。文中还探讨了不同模式下的性能优化,以及即将推出的OS Connector for AI/ML工具,旨在提升数据下载速度和IO性能。
334 0