【实践】基于生命周期管理的存储成本优化

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储OSS,敏感数据保护2.0 200GB 1年
简介: 本实验介绍如何在阿里云创建和管理对象存储服务(OSS)。主要内容包括:1. 创建Bucket,选择存储类型及冗余方式;2. 上传文件,推荐使用API或SDK而非控制台直接操作;3. 设置生命周期规则,管理文件的存储层级转换与自动删除。实验重点在于合理配置存储策略以降低成本,并确保数据安全。通过控制台操作,用户可以轻松管理存储资源,但需注意防止不必要的公网访问以避免费用风险。

本次实验,左边是操作步骤的建议,右边是控制台。实名认证和账户余额不重要,本次只开通对象存储服务,不涉及太多的成本,如果没有存太多数据,不会产生费用。


勾选同意并开始操作。操作第一步是创建资源,如果账号没有开通服务或订阅服务没有开通任何资源。通过控制台进入对象存储的管理控制台等同于通过云控制台进入。

image.png

1.创建Bucket列表


使用阿里云的对象存储先创建存储空间,存储空间叫Bucket,如果是块存储就是创建一款盘。


创建一个资源后,该资源对公网服务、对内网服务都需要一个独一无二全球唯一的名字。默认选择地域属性,可以根据业务需求选择地域,存储类型根据Bucket有五种,分别是标准储存,低频访问,归档存储,冷归档存储和深度冷归档存储,存储冗余类型分为本地冗余和同城冗余。


本地冗余指假如选择北京,数据只存在一个数据中心里边;如果是同城冗余,意味服务是跨数据中心运行的。


一个跨数据中心多一个对应存储服务,本地冗余存储是单数据中心,标准存储和低频访问以及归档存储都是支持同程冗余,这是对于可靠性要求极高的场景使用。


冷归档存储和深度冷归档存储是不支持开启同城冗余存储,异步冷的数据不要求online,只要保证数据的持久化,为降低成本,不做同城数据,一般情况下选择本地冗余。不选择冷归档存储和深度冷归档存储,选择标准存储,通过生命周期的方式去把数据转冷。

image.png

 

是否阻止公网访问

很多人由于创建可以公网访问的桶,AKSK或者账号被盗刷,其他人只要拿到AKSK,就可以在互联网上大规模访问你的桶,产生不必要的费用。建议打开阻止公共访问,读写权限默认是私有。如果选择公共读,可靠性或者安全性将降低。资源组是公司内部把每个业务用了哪些资源进行统计和分账,就要选择所属资源组进行分账。


Bucket的版本控制指文件可以有多个版本,例如写代码,写新代码提交上去后老版本是存在的,对象存储也提供版本管理,可以回归老版本。服务端加密方式、实时日志查询、定时备份、HDFS服务都是跟应用相关。

image.png

点击完成创建,可以看到自己创建的桶,地域和Bucket名称不支持更改。

image.png

2.上传文件

进入桶,上传文件有多种方式,控制台可以直接上传文件。例如上传图片成功,但这不是推荐的使用方式,更推荐使用api ,sdk或者工具去访问,它是对应用和业务使用的,不是个人网盘类的产品,对于控制台操作,只是帮助查看和管理使用辅助,并不推荐使用这种方法管理文件。一些控制操作需要通过这个操作,比如生命周期规则。

image.png

3.创建生命周期规则

首先点击具体的Bucket 下的生命周期规则。创建生命周期规则时,按照前缀或者整个桶来匹配,按照前缀是选择其中某个目录,按照整个桶就是选择整个桶实践。

image.png

按照前缀对某一目录进行操作,例如按照test目录,一般目录是后面加/前面不加/,若希望test目录下的a-dir子目录不操作,在NOT中将其排除。若在文件大小选项中指定最小文件期望是64KB以下的文件,因为产生容量放大反而不一定能节省费用。以上设置包括生命周期规则准备作用到的文件和作用的部分。

image.png


按照修改时间做是指文件创建和更新的时间,假设按照修改30天后,让数据进入归档存储,数据在执行过程中,每天就会执行生命周期规则,轮循所有文件的修改时间,当命中修改的规则,数据自动转换成归档储存。假设时间超过60天之后,数据转换成深度冷归档,系统有自动变化,时间默认设置200天,不建议这样设置。


因为只需要考虑数据在归档储存里的天数,可以根据自己需要,比如归档层要求60天,就只保存对最后一次修改时间60天之后的数据转换到深度冷归档储存,还有是在很长一段时间内需要归档直读,例如90天、3个月或者6个月,按照这个生命周期规则去设置,例如超过能归档存时间之后,无人访问,大多数人选择存储到深度冷归档。如果有人访问,把数据直接解冻并且把数据转成一个标准的数据。如果无人访问,超过一定时间,选择数据删掉。


那么最后一次修改时间多少天后把其删除?首先跟上面不能冲突,比如90天后删除,绝对不会到深度冷归档,要比深度冷归档的最后一次修改时间大,假设设置180天后,与上边最后一次修改时间重复,假如设置200天之后把数据删除掉,可以删除但会产生额外的费用,产生的费用就是180天后,进入了深度冷归档,在里边多存20天,到200天把数据删除掉,深度冷归档层要求数据存储至少180天,需要额外付出160天的费用,至少应该存360天才不会产生额外费用,这是比较匹配现在管理规则和商务规则的一个生命周期配置。


记住,第一删除数据是不可恢复的,一定要慎重。第二小文件可能会带来膨胀,所以小文件需要排除,其次冷归档和深度冷归档对存储时长有明确的要求,时长要求在这一层上存够足够的时间180天。在深度冷归档或者冷归档和下一个比它更冷的生成这一条规则之前,要充分考虑时间差。

image.png

点击确认,生命周期规则一栏产生生命周期规则,它会在24小时内被加载,48小时内会生效。之前创建一个按照修改时间的生命周期规则。

image.png

下面创建一个以访问数值为生命周期的规则功能。


以test1/为前缀,文件大小指定最小文件为64KB,开启访问追踪功能后,当前不收费。


点击开始,选择访问周期,这时候可以选择几种不同的类型,如果没有提交工单,可以看到四个选项,如果没有提交过工单,只能看见低频访问类型。两个低频访问的区别是一个数据被访问后,依旧停留在低频档,另一个数据一旦被访问,回到标准档,说明数据可能不会被访问,一旦被访问,会有频繁的访问,就回到标准档。如果数据的特征被访问次数可能会很多,大部分数据不会被访问或访问较少就不用转回标准档。最后一次访问时间设置为90天,把数据转到归档,再加上最后一次访问时间超过180天,把数据转到冷归档,当把所有东西都设置完会发现没办法设置删除,没有深度冷归档存储和数据删除,建议设置一个修改时间,例如超过360天把数据删除,访问时间和修改时间两者可以同时作用到一个规则。

image.png

假设把规则生效,生效的规则在后台是配置文件,配置文件里边前面和后边组合形成规则,所有的规则里面的每一条规则本质上都是并行的,都是用或的关系去执行。单个规则内部也可以设置冲突,冲突之后按照之前的规则操作,规则和规则之间也会有冲突,冲突之后按照最低成本的规则去操作。

image.png

以上为分享全部内容。

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
7月前
|
人工智能 Serverless API
尽享红利,Serverless构建企业AI应用方案与实践
本次课程由阿里云云原生架构师计缘分享,主题为“尽享红利,Serverless构建企业AI应用方案与实践”。课程分为四个部分:1) Serverless技术价值,介绍其发展趋势及优势;2) Serverless函数计算与AI的结合,探讨两者融合的应用场景;3) Serverless函数计算AIGC应用方案,展示具体的技术实现和客户案例;4) 业务初期如何降低使用门槛,提供新用户权益和免费资源。通过这些内容,帮助企业和开发者快速构建高效、低成本的AI应用。
209 12
|
7月前
|
弹性计算 负载均衡 安全
企业业务上云经典架构方案整体介绍
本次课程由阿里云产品经理晋侨分享,主题为企业业务上云经典架构。内容涵盖用户业务架构现状及挑战、阿里云业务托管经典架构设计、方案涉及的产品选型配置,以及业务初期如何低门槛使用。课程详细介绍了企业业务上云的全流程,帮助用户实现高可用、稳定、可扩展的云架构。
222 0
|
人工智能 运维 Kubernetes
阿里云容器服务 ACK AI 助手正式上线
期待已久!阿里云容器服务 ACK AI 助手正式上线
|
7月前
|
弹性计算 人工智能 数据管理
AI场景下的对象存储OSS数据管理实践
本文介绍了ECS和OSS的操作流程,分为两大部分。第一部分详细讲解了ECS的登录、密码重置、安全组设置及OSSUTIL工具的安装与配置,通过实验创建并管理存储桶,上传下载文件,确保资源及时释放。第二部分则聚焦于OSSFS工具的应用,演示如何将对象存储挂载为磁盘,进行大文件加载与模型训练,强调环境搭建(如Conda环境)及依赖安装步骤,确保实验结束后正确清理AccessKey和相关资源。整个过程注重操作细节与安全性,帮助用户高效利用云资源完成实验任务。
835 161
|
canal 消息中间件 Prometheus
Canal Admin 高可用集群使用教程
Canal Admin 高可用集群使用教程
2094 0
Canal Admin 高可用集群使用教程
|
10月前
|
存储 自然语言处理 算法
【算法精讲系列】MGTE系列模型,RAG实施中的重要模型
检索增强生成(RAG)结合检索与生成技术,利用外部知识库提升大模型的回答准确性与丰富性。RAG的关键组件包括文本表示模型和排序模型,前者计算文本向量表示,后者进行精细排序。阿里巴巴通义实验室推出的GTE-Multilingual系列模型,具备高性能、长文档支持、多语言处理及弹性向量表示等特性,显著提升了RAG系统的检索与排序效果。该系列模型已在多个数据集上展示出优越性能,并支持多语言和长文本处理,适用于各种复杂应用场景。
|
7月前
|
弹性计算 关系型数据库 测试技术
RDS通用云盘核心能力
本次实验主要体验RDS通用云盘的三项核心能力:IO加速、IO突发和数据归档。首先创建实验资源,包括RDS MySQL实例和ECS实例,耗时约5分钟。接着通过sysbench导入数据并配置安全设置。 在体验阶段,我们对比了开启和关闭IO加速及IO突发功能对RDS性能的影响,观察到QPS有显著差异。最后,通过将数据从云盘迁移到OSS中,展示了冷存层的数据归档功能,并进行RDS硬盘缩容,验证了其成本优势。整个实验过程详细记录了每一步操作,确保用户能直观感受到RDS通用云盘带来的性能提升和成本优化。
400 131
RDS通用云盘核心能力
|
7月前
|
存储 监控 自动驾驶
对象存储OSS产品介绍
本次分享由王太平(征越)主讲,围绕阿里云对象存储OSS的产品介绍、成本优化、功能实战及最佳实践展开。内容涵盖OSS的五种存储类型及其应用场景,详细解析了生命周期管理在数据存储成本优化中的重要作用,并提供了具体的配置建议和实际案例。适合希望深入了解OSS及优化存储成本的用户参考。
379 0
|
8月前
|
人工智能 监控 机器人
阿里云开发者社区博文规范及指引
阿里云开发者社区博文规范及指引
2125 16
阿里云开发者社区博文规范及指引
|
7月前
|
存储 人工智能 开发工具
AI场景下的对象存储OSS数据管理实践
本文介绍了对象存储(OSS)在AI业务中的应用与实践。内容涵盖四个方面:1) 对象存储作为AI数据基石,因其低成本和高弹性成为云上数据存储首选;2) AI场景下的对象存储实践方案,包括数据获取、预处理、训练及推理阶段的具体使用方法;3) 国内主要区域的默认吞吐量提升至100Gbps,优化了大数据量下的带宽需求;4) 常用工具介绍,如OSSutil、ossfs、Python SDK等,帮助用户高效管理数据。重点讲解了OSS在AI训练和推理中的性能优化措施,以及不同工具的特点和应用场景。
690 10