OSS生命周期管理与访问行为分析实践

本文涉及的产品
对象存储 OSS,20GB 3个月
日志服务 SLS,月写入数据量 50GB 1个月
对象存储 OSS,恶意文件检测 1000次 1年
简介: 认证考试:OSS生命周期管理与访问行为分析实践

实验场景:

小浩公司业务系统部署在阿里云ECS上,系统在日常生产过程中产生大量的日志文件,为了避免过度占用服务器磁盘空间且满足合规,小浩决定将应用日志文件存储在OSS上,为了节省成本对日志文件进行生命周期配置,同时,公司静态资源文件也托管在OSS上,为了分析其访问行为及进行异常的监控,通过CloudLens for OSS接入目标Bucket进行监控统计。

image.png


实验步骤:

OSS资源上传

搜索框搜索OSS,点击对象存储OSS

image.png

点击bucket,选择合适的地域,可以看到如下

image.png

实验资源文件下载链接。

https://labfileapp.oss-cn-hangzhou.aliyuncs.com/clouder/demo.jpg

image.png

https://labfileapp.oss-cn-hangzhou.aliyuncs.com/clouder/demo.log

image.png

回到OSS存储主界面,点击bucket。

image.png

找到文件管理--->文件列表菜单,单击上传文件,弹出如下页面:

image.png

在弹出的页面中,单击扫描文件,将静态资源文件demo.jpg上传,如下两图,完成demo.jpg的上传.

image.png

image.png

image.png

出现如下图代表上传成功。

image.png

点击文件列表后,然后单击新建目录,在新的页面中目录名中输入‘log’,并点击确定,完成目录的创建。

image.png

点击上传文件,然后选择指定目录,并在输入框中输入‘log’,然后单击扫描文件按钮,上传文件,如下图所示。

image.png

点击扫描文件后,弹出选择文件页面,选择demo.log资源文件,最后单击文件上传,完成上传。

image.png

返回文件列表界面,点击‘log’目录,如下图所示,则表示上传成功。

image.png


生命周期配置

在数据管理菜单下,找到生命周期,单击创建规则。

image.png

进入创建规则面板,进行配置。(按照我们示例要保存的日志文件为例,基于最后一次修改改时间 7天后转为低频存储,14天后转为归档存储,30天后转为冷归档,60天后彻底删除进行设置)

image.png

image.png

image.png

image.png


生命周期配置前后验证方法

选择文件管理-->文件列表,找到并进入到log目录,如下图:

image.png

点击文件右侧的详情,进入文件详情页面。

image.png

查看到前缀为log下的文件存储类型为最初的标准存储,生命周期触发规则(示例的规则为:基于最后一次修改时间 7天后转为低频存储,14天后转为归档存储,30天后转为冷归档,60天后彻底删除 )生效后,重复上述步骤,对比该存储类型,查看其变化。


OSS访问行为分析

登录日志服务控制台,进入SLS控制台主页,找到日志应用-云产品Lens-->CloudLens for OSS ,单击进入。

https://sls.console.aliyun.com/

image.png

进入CloudLens for OSS之后,接入管理如下图:

image.png

后端资源初始化中,稍等片刻后刷新。

image.png

进入查询分析-->访问明细日志,得到根据条件查询出来的日志信息如下图:

image.png

image.png

bucket:输入Bucket名称

image.png

进入查询分析-->计量日志,可以查询分析所有Bucket的计量数据,也可选择过滤条件。(该操作步骤是为了演示计量日志的操作,用于辅助分析OSS Bucket每小时累计的计量数据,但计量日志功能存在延迟,延迟时间为几小时,该操作步骤显示若为空白属于正常现象。)

image.png

进入报表中心-->资源用量,可以查看存储量、带宽等核心资源的使用情况,查看存储量趋势/存储量分布/Bucket 存储量 Top20等,展示页面如下图:

  • 地域:根据Bucket实际所在地域进行选择。

  • 存储类型:标准存储。

  • Bucket:要查看Bucket名称。

存储量占用/存储量计量依赖中心化的计量日志,可以方便您全局分析Bucket的存储、计量使用情况,CloudLens for OSS 默认开通计量日志。

image.png

进入报表中心-->访问分析,了解使用行为情况,辅助产品使用和业务运营分析。

image.png

下滑上图页面,可以看到流量top分析、请求top分析、文件请求top20等信息。

image.png

进入报表中心-->安全分析,暴露不合理的配置和高危操作,给出优化建议。

image.png

若显示无数据,则代表未触发过删除文件的操作。


异常检测

进入异常告警-->告警管理,进入Bucket试图的告警页面,可以针对指定的Bucket配置需要的告警规则,此处为配置删除OSS Bucket告警为例。

说明:告警名称默认为规则名称,一般保持默认即可,可以根据需要进行调整,其他默认阈值也都需要根据实际配置一个合理的值。

image.png

将静默期设置为0,然后点击行动策略中的查看配置详情,会跳转进入编辑行动策略页面。

image.png

编辑行动策略

说明:首次创建告警时,由于默认的行动策略为SLS OSS内置行动策略,该内置策略关联的用户组下默认没有用户,需要用户先创建用户加入到该用户组,同时默认的行动组只支持邮件,如果需要增加其他通知渠道也需要修改行动策略,具体操作可参考创建行动策略,也可以选择创建新的行动策略。

https://help.aliyun.com/document_detail/207709.html

在跳转的编辑行动策略界面中,选择渠道为短信,然后点击接收人的新增按钮,进行新增用户用于接收短信告警。

行动策略中我们选择的通知渠道是“短信”。

image.png

image.png

image.png

创建用户

如果用户已创建,则直接将对应用户加入用户组即可,如下:

进入添加用户界面,如下图所示进行配置,填写标识符、姓名、手机号,最后点击确认按钮。

image.png

将用户添加到用户组。首先点击用户管理旁边的标识符,选择用户组管理,进入用户组管理页面。

image.png

在修改用户组界面,按照如下图进行配置,然后点击确认,完成添加用户组的用户。

image.png

上述操作完成后,已将用户添加到用户组,并设置短信告警,需返回编辑行动策略页面,点击确认,完成行动策略的配置。

image.png

返回初始创建告警的标签页面,点击确认,在告警规则中显示1条告警规则,则代表完成告警配置。

image.png

image.png


模拟触发告警规则

在上述步骤中,配置了OSS bucket删除告警规则同时通过短信渠道报警,现在我们开始模拟删除刚刚创建的Bucket,进行触发告警,告警可以通过如下方式查看:

  • 在异常检测-->告警态势中查看告警信息。

  • 根据收到的短信得知触发告警。

删除Bucket操作

登录对象存储OSS控制台,在左侧导航栏中,单击Bucket列表,找到目标Bucket,单击进入。

image.png

进入删除前的资源检查页面,如下图:

说明:因该Bucket下存在文件,资源检查不通过,需删除Bucket中的文件。

image.png

单击上图“前往删除”页面,进入文件列表,删除已上传的文件。

image.png

返回删除Bucket页面,点击重新检查,直至出现确认删除按钮,单击确认删除

image.png

后续查看告警即可。

考试完毕,证书领取如下。

image.png

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
6天前
|
消息中间件 对象存储
轻量消息队列(原 MNS)订阅 OSS 事件实践
使用轻量消息队列订阅OSS事件,实时处理文件变动,赢取ins风U型枕(限量500个)。访问活动页面,完成实操并上传截图即可参与领奖。活动时间:即日起至2025年2月28日16:00。奖品数量有限,先到先得,快来报名吧!
|
2月前
|
存储 应用服务中间件 开发工具
对象存储OSS-Python设置代理访问请求
通过 Python SDK 配置 nginx 代理地址请求阿里云 OSS 存储桶服务。示例代码展示了如何使用 RAM 账号进行身份验证,并通过代理下载指定对象到本地文件。
113 15
|
2月前
|
存储 人工智能 开发工具
AI场景下的对象存储OSS数据管理实践
本文介绍了对象存储(OSS)在AI业务中的应用与实践。内容涵盖四个方面:1) 对象存储作为AI数据基石,因其低成本和高弹性成为云上数据存储首选;2) AI场景下的对象存储实践方案,包括数据获取、预处理、训练及推理阶段的具体使用方法;3) 国内主要区域的默认吞吐量提升至100Gbps,优化了大数据量下的带宽需求;4) 常用工具介绍,如OSSutil、ossfs、Python SDK等,帮助用户高效管理数据。重点讲解了OSS在AI训练和推理中的性能优化措施,以及不同工具的特点和应用场景。
141 10
|
2月前
|
弹性计算 人工智能 数据管理
AI场景下的对象存储OSS数据管理实践
本文介绍了ECS和OSS的操作流程,分为两大部分。第一部分详细讲解了ECS的登录、密码重置、安全组设置及OSSUTIL工具的安装与配置,通过实验创建并管理存储桶,上传下载文件,确保资源及时释放。第二部分则聚焦于OSSFS工具的应用,演示如何将对象存储挂载为磁盘,进行大文件加载与模型训练,强调环境搭建(如Conda环境)及依赖安装步骤,确保实验结束后正确清理AccessKey和相关资源。整个过程注重操作细节与安全性,帮助用户高效利用云资源完成实验任务。
146 10
|
1月前
|
存储 人工智能 数据管理
云端问道17期方案教学-AI场景下的对象存储OSS数据管理实践
本文介绍了AI场景下的对象存储OSS数据管理实践,由阿里云技术专家明锦分享。主要内容分为两部分:1) AI场景下对象存储实践方案,包括对象存储的应用、优势及在模型推理中的优化;2) OSS常用工具介绍,如OSSFS、Python SDK、Go SDK等,并详细说明了这些工具的特点和使用场景。文中还探讨了不同模式下的性能优化,以及即将推出的OS Connector for AI/ML工具,旨在提升数据下载速度和IO性能。
|
3月前
|
弹性计算 数据管理 应用服务中间件
活动实践 | 借助OSS搭建在线教育视频课程分享网站
本教程指导用户在阿里云ECS实例上搭建在线教育网站,包括重置ECS密码、配置安全组、安装Nginx、创建网站页面、上传数据至OSS、开通OSS传输加速、配置生命周期策略及清理资源等步骤,实现高效、低成本的数据管理和网站运营。
活动实践 | 借助OSS搭建在线教育视频课程分享网站
|
4月前
|
存储 人工智能 缓存
AI助理直击要害,从繁复中提炼精华——使用CDN加速访问OSS存储的图片
本案例介绍如何利用AI助理快速实现OSS存储的图片接入CDN,以加速图片访问。通过AI助理提炼关键操作步骤,避免在复杂文档中寻找解决方案。主要步骤包括开通CDN、添加加速域名、配置CNAME等。实测显示,接入CDN后图片加载时间显著缩短,验证了加速效果。此方法大幅提高了操作效率,降低了学习成本。
5533 16
|
4月前
|
存储 网络安全 对象存储
缺乏中间证书导致通过HTTPS协议访问OSS异常
【10月更文挑战第4天】缺乏中间证书导致通过HTTPS协议访问OSS异常
233 4
|
7月前
|
分布式计算 DataWorks 数据处理
MaxCompute操作报错合集之UDF访问OSS,配置白名单后出现报错,是什么原因
MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
|
9月前
|
SQL 分布式计算 监控
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
本文演示了使用 EMR Serverless Spark 产品搭建一个日志分析应用的全流程,包括数据开发和生产调度以及交互式查询等场景。
56638 7
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用