OSS生命周期管理与访问行为分析实践

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,内容安全 1000次 1年
日志服务 SLS,月写入数据量 50GB 1个月
简介: 认证考试:OSS生命周期管理与访问行为分析实践

实验场景:

小浩公司业务系统部署在阿里云ECS上,系统在日常生产过程中产生大量的日志文件,为了避免过度占用服务器磁盘空间且满足合规,小浩决定将应用日志文件存储在OSS上,为了节省成本对日志文件进行生命周期配置,同时,公司静态资源文件也托管在OSS上,为了分析其访问行为及进行异常的监控,通过CloudLens for OSS接入目标Bucket进行监控统计。

image.png


实验步骤:

OSS资源上传

搜索框搜索OSS,点击对象存储OSS

image.png

点击bucket,选择合适的地域,可以看到如下

image.png

实验资源文件下载链接。

https://labfileapp.oss-cn-hangzhou.aliyuncs.com/clouder/demo.jpg

image.png

https://labfileapp.oss-cn-hangzhou.aliyuncs.com/clouder/demo.log

image.png

回到OSS存储主界面,点击bucket。

image.png

找到文件管理--->文件列表菜单,单击上传文件,弹出如下页面:

image.png

在弹出的页面中,单击扫描文件,将静态资源文件demo.jpg上传,如下两图,完成demo.jpg的上传.

image.png

image.png

image.png

出现如下图代表上传成功。

image.png

点击文件列表后,然后单击新建目录,在新的页面中目录名中输入‘log’,并点击确定,完成目录的创建。

image.png

点击上传文件,然后选择指定目录,并在输入框中输入‘log’,然后单击扫描文件按钮,上传文件,如下图所示。

image.png

点击扫描文件后,弹出选择文件页面,选择demo.log资源文件,最后单击文件上传,完成上传。

image.png

返回文件列表界面,点击‘log’目录,如下图所示,则表示上传成功。

image.png


生命周期配置

在数据管理菜单下,找到生命周期,单击创建规则。

image.png

进入创建规则面板,进行配置。(按照我们示例要保存的日志文件为例,基于最后一次修改改时间 7天后转为低频存储,14天后转为归档存储,30天后转为冷归档,60天后彻底删除进行设置)

image.png

image.png

image.png

image.png


生命周期配置前后验证方法

选择文件管理-->文件列表,找到并进入到log目录,如下图:

image.png

点击文件右侧的详情,进入文件详情页面。

image.png

查看到前缀为log下的文件存储类型为最初的标准存储,生命周期触发规则(示例的规则为:基于最后一次修改时间 7天后转为低频存储,14天后转为归档存储,30天后转为冷归档,60天后彻底删除 )生效后,重复上述步骤,对比该存储类型,查看其变化。


OSS访问行为分析

登录日志服务控制台,进入SLS控制台主页,找到日志应用-云产品Lens-->CloudLens for OSS ,单击进入。

https://sls.console.aliyun.com/

image.png

进入CloudLens for OSS之后,接入管理如下图:

image.png

后端资源初始化中,稍等片刻后刷新。

image.png

进入查询分析-->访问明细日志,得到根据条件查询出来的日志信息如下图:

image.png

image.png

bucket:输入Bucket名称

image.png

进入查询分析-->计量日志,可以查询分析所有Bucket的计量数据,也可选择过滤条件。(该操作步骤是为了演示计量日志的操作,用于辅助分析OSS Bucket每小时累计的计量数据,但计量日志功能存在延迟,延迟时间为几小时,该操作步骤显示若为空白属于正常现象。)

image.png

进入报表中心-->资源用量,可以查看存储量、带宽等核心资源的使用情况,查看存储量趋势/存储量分布/Bucket 存储量 Top20等,展示页面如下图:

  • 地域:根据Bucket实际所在地域进行选择。

  • 存储类型:标准存储。

  • Bucket:要查看Bucket名称。

存储量占用/存储量计量依赖中心化的计量日志,可以方便您全局分析Bucket的存储、计量使用情况,CloudLens for OSS 默认开通计量日志。

image.png

进入报表中心-->访问分析,了解使用行为情况,辅助产品使用和业务运营分析。

image.png

下滑上图页面,可以看到流量top分析、请求top分析、文件请求top20等信息。

image.png

进入报表中心-->安全分析,暴露不合理的配置和高危操作,给出优化建议。

image.png

若显示无数据,则代表未触发过删除文件的操作。


异常检测

进入异常告警-->告警管理,进入Bucket试图的告警页面,可以针对指定的Bucket配置需要的告警规则,此处为配置删除OSS Bucket告警为例。

说明:告警名称默认为规则名称,一般保持默认即可,可以根据需要进行调整,其他默认阈值也都需要根据实际配置一个合理的值。

image.png

将静默期设置为0,然后点击行动策略中的查看配置详情,会跳转进入编辑行动策略页面。

image.png

编辑行动策略

说明:首次创建告警时,由于默认的行动策略为SLS OSS内置行动策略,该内置策略关联的用户组下默认没有用户,需要用户先创建用户加入到该用户组,同时默认的行动组只支持邮件,如果需要增加其他通知渠道也需要修改行动策略,具体操作可参考创建行动策略,也可以选择创建新的行动策略。

https://help.aliyun.com/document_detail/207709.html

在跳转的编辑行动策略界面中,选择渠道为短信,然后点击接收人的新增按钮,进行新增用户用于接收短信告警。

行动策略中我们选择的通知渠道是“短信”。

image.png

image.png

image.png

创建用户

如果用户已创建,则直接将对应用户加入用户组即可,如下:

进入添加用户界面,如下图所示进行配置,填写标识符、姓名、手机号,最后点击确认按钮。

image.png

将用户添加到用户组。首先点击用户管理旁边的标识符,选择用户组管理,进入用户组管理页面。

image.png

在修改用户组界面,按照如下图进行配置,然后点击确认,完成添加用户组的用户。

image.png

上述操作完成后,已将用户添加到用户组,并设置短信告警,需返回编辑行动策略页面,点击确认,完成行动策略的配置。

image.png

返回初始创建告警的标签页面,点击确认,在告警规则中显示1条告警规则,则代表完成告警配置。

image.png

image.png


模拟触发告警规则

在上述步骤中,配置了OSS bucket删除告警规则同时通过短信渠道报警,现在我们开始模拟删除刚刚创建的Bucket,进行触发告警,告警可以通过如下方式查看:

  • 在异常检测-->告警态势中查看告警信息。

  • 根据收到的短信得知触发告警。

删除Bucket操作

登录对象存储OSS控制台,在左侧导航栏中,单击Bucket列表,找到目标Bucket,单击进入。

image.png

进入删除前的资源检查页面,如下图:

说明:因该Bucket下存在文件,资源检查不通过,需删除Bucket中的文件。

image.png

单击上图“前往删除”页面,进入文件列表,删除已上传的文件。

image.png

返回删除Bucket页面,点击重新检查,直至出现确认删除按钮,单击确认删除

image.png

后续查看告警即可。

考试完毕,证书领取如下。

image.png

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
3月前
|
分布式计算 DataWorks 数据处理
MaxCompute操作报错合集之UDF访问OSS,配置白名单后出现报错,是什么原因
MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
|
3月前
|
域名解析 Serverless API
函数计算产品使用问题之如何配置自定义域名访问OSS中的内容
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStream API、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
5月前
|
SQL 分布式计算 监控
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
本文演示了使用 EMR Serverless Spark 产品搭建一个日志分析应用的全流程,包括数据开发和生产调度以及交互式查询等场景。
56580 7
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
|
4月前
|
分布式计算 DataWorks MaxCompute
MaxCompute操作报错合集之在Spark访问OSS时出现证书错误的问题,该如何解决
MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
|
4月前
|
存储 分布式计算 大数据
MaxCompute产品使用合集之是否支持创建OSS外部表为分区表,并访问OSS上以分区方式存储的数据
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
4月前
|
存储 运维 Serverless
Serverless 应用引擎产品使用合集之如何访问相同地域的OSS
阿里云Serverless 应用引擎(SAE)提供了完整的微服务应用生命周期管理能力,包括应用部署、服务治理、开发运维、资源管理等功能,并通过扩展功能支持多环境管理、API Gateway、事件驱动等高级应用场景,帮助企业快速构建、部署、运维和扩展微服务架构,实现Serverless化的应用部署与运维模式。以下是对SAE产品使用合集的概述,包括应用管理、服务治理、开发运维、资源管理等方面。
|
4月前
|
机器学习/深度学习 人工智能 分布式计算
人工智能平台PAI操作报错合集之在ODPS的xxx_dev项目空间调用easyrec训练,需要访问yyy项目空间的OSS,出现报错,是什么导致的
阿里云人工智能平台PAI (Platform for Artificial Intelligence) 是阿里云推出的一套全面、易用的机器学习和深度学习平台,旨在帮助企业、开发者和数据科学家快速构建、训练、部署和管理人工智能模型。在使用阿里云人工智能平台PAI进行操作时,可能会遇到各种类型的错误。以下列举了一些常见的报错情况及其可能的原因和解决方法。
|
5月前
|
存储 数据管理 Java
基于OSS、NFS构建高性能可扩展的遥感智能解译系统实践之路
该文探讨了构建高性能、可扩展的遥感智能解译系统的架构演进过程。作者强调架构应根据业务场景而定,而非追求单一的“最佳”架构。文章分为五个部分,介绍了从初步的业务场景分析到逐步优化的架构设计。 1. 业务场景描述了服务于地理信息行业的遥感数据管理平台,包括数据湖和遥感智能解译系统的功能和架构设计。 2. 初代系统解决了数据管理和智能解译的基本需求,但存在数据同步效率低下的问题。 3. 自动化阶段通过消息推送和数据接收模块减少了人工干预,将处理时间减半,但仍存在效率和稳定性问题。 4. 高性能阶段引入数据订阅/推送和数据接收Agent,实现了稳定、高速的数据传输,性能提升了6倍。
48808 2
|
4月前
|
存储 分布式计算 关系型数据库
实时数仓 Hologres产品使用合集之是否提供相应的功能接口和指令,可以将数据从OSS存储同步到Hologres中进行分析
实时数仓Hologres的基本概念和特点:1.一站式实时数仓引擎:Hologres集成了数据仓库、在线分析处理(OLAP)和在线服务(Serving)能力于一体,适合实时数据分析和决策支持场景。2.兼容PostgreSQL协议:Hologres支持标准SQL(兼容PostgreSQL协议和语法),使得迁移和集成变得简单。3.海量数据处理能力:能够处理PB级数据的多维分析和即席查询,支持高并发低延迟查询。4.实时性:支持数据的实时写入、实时更新和实时分析,满足对数据新鲜度要求高的业务场景。5.与大数据生态集成:与MaxCompute、Flink、DataWorks等阿里云产品深度融合,提供离在线
|
5月前
|
域名解析 弹性计算 应用服务中间件
基于nginx反向代理实现OSS固定域名IP访问
本文基于阿里云OSS手册:https://help.aliyun.com/zh/oss/use-cases/use-an-ecs-instance-that-runs-centos-to-configure-a-reverse-proxy-for-access-to-oss,继续深入讨论如何利用nginx反向代理,实现固定的IP/域名访问OSS bucket。官方文档能够解决大部分的反向代理固定IP访问oss bucket的场景,但是对于必须使用域名作为endpoint的系统,会出现signatrue鉴权问题。本文继续在官方文档的基础上,将反向代理需要域名作为endpoint的场景补齐方案。

热门文章

最新文章