【实践】基于生命周期管理的存储成本优化

简介: 本实验介绍如何在阿里云创建和管理对象存储服务(OSS)。主要内容包括:1. 创建Bucket,选择存储类型及冗余方式;2. 上传文件,推荐使用API或SDK而非控制台直接操作;3. 设置生命周期规则,管理文件的存储层级转换与自动删除。实验重点在于合理配置存储策略以降低成本,并确保数据安全。通过控制台操作,用户可以轻松管理存储资源,但需注意防止不必要的公网访问以避免费用风险。

本次实验,左边是操作步骤的建议,右边是控制台。实名认证和账户余额不重要,本次只开通对象存储服务,不涉及太多的成本,如果没有存太多数据,不会产生费用。


勾选同意并开始操作。操作第一步是创建资源,如果账号没有开通服务或订阅服务没有开通任何资源。通过控制台进入对象存储的管理控制台等同于通过云控制台进入。

image.png

1.创建Bucket列表


使用阿里云的对象存储先创建存储空间,存储空间叫Bucket,如果是块存储就是创建一款盘。


创建一个资源后,该资源对公网服务、对内网服务都需要一个独一无二全球唯一的名字。默认选择地域属性,可以根据业务需求选择地域,存储类型根据Bucket有五种,分别是标准储存,低频访问,归档存储,冷归档存储和深度冷归档存储,存储冗余类型分为本地冗余和同城冗余。


本地冗余指假如选择北京,数据只存在一个数据中心里边;如果是同城冗余,意味服务是跨数据中心运行的。


一个跨数据中心多一个对应存储服务,本地冗余存储是单数据中心,标准存储和低频访问以及归档存储都是支持同程冗余,这是对于可靠性要求极高的场景使用。


冷归档存储和深度冷归档存储是不支持开启同城冗余存储,异步冷的数据不要求online,只要保证数据的持久化,为降低成本,不做同城数据,一般情况下选择本地冗余。不选择冷归档存储和深度冷归档存储,选择标准存储,通过生命周期的方式去把数据转冷。

image.png

 

是否阻止公网访问

很多人由于创建可以公网访问的桶,AKSK或者账号被盗刷,其他人只要拿到AKSK,就可以在互联网上大规模访问你的桶,产生不必要的费用。建议打开阻止公共访问,读写权限默认是私有。如果选择公共读,可靠性或者安全性将降低。资源组是公司内部把每个业务用了哪些资源进行统计和分账,就要选择所属资源组进行分账。


Bucket的版本控制指文件可以有多个版本,例如写代码,写新代码提交上去后老版本是存在的,对象存储也提供版本管理,可以回归老版本。服务端加密方式、实时日志查询、定时备份、HDFS服务都是跟应用相关。

image.png

点击完成创建,可以看到自己创建的桶,地域和Bucket名称不支持更改。

image.png

2.上传文件

进入桶,上传文件有多种方式,控制台可以直接上传文件。例如上传图片成功,但这不是推荐的使用方式,更推荐使用api ,sdk或者工具去访问,它是对应用和业务使用的,不是个人网盘类的产品,对于控制台操作,只是帮助查看和管理使用辅助,并不推荐使用这种方法管理文件。一些控制操作需要通过这个操作,比如生命周期规则。

image.png

3.创建生命周期规则

首先点击具体的Bucket 下的生命周期规则。创建生命周期规则时,按照前缀或者整个桶来匹配,按照前缀是选择其中某个目录,按照整个桶就是选择整个桶实践。

image.png

按照前缀对某一目录进行操作,例如按照test目录,一般目录是后面加/前面不加/,若希望test目录下的a-dir子目录不操作,在NOT中将其排除。若在文件大小选项中指定最小文件期望是64KB以下的文件,因为产生容量放大反而不一定能节省费用。以上设置包括生命周期规则准备作用到的文件和作用的部分。

image.png


按照修改时间做是指文件创建和更新的时间,假设按照修改30天后,让数据进入归档存储,数据在执行过程中,每天就会执行生命周期规则,轮循所有文件的修改时间,当命中修改的规则,数据自动转换成归档储存。假设时间超过60天之后,数据转换成深度冷归档,系统有自动变化,时间默认设置200天,不建议这样设置。


因为只需要考虑数据在归档储存里的天数,可以根据自己需要,比如归档层要求60天,就只保存对最后一次修改时间60天之后的数据转换到深度冷归档储存,还有是在很长一段时间内需要归档直读,例如90天、3个月或者6个月,按照这个生命周期规则去设置,例如超过能归档存时间之后,无人访问,大多数人选择存储到深度冷归档。如果有人访问,把数据直接解冻并且把数据转成一个标准的数据。如果无人访问,超过一定时间,选择数据删掉。


那么最后一次修改时间多少天后把其删除?首先跟上面不能冲突,比如90天后删除,绝对不会到深度冷归档,要比深度冷归档的最后一次修改时间大,假设设置180天后,与上边最后一次修改时间重复,假如设置200天之后把数据删除掉,可以删除但会产生额外的费用,产生的费用就是180天后,进入了深度冷归档,在里边多存20天,到200天把数据删除掉,深度冷归档层要求数据存储至少180天,需要额外付出160天的费用,至少应该存360天才不会产生额外费用,这是比较匹配现在管理规则和商务规则的一个生命周期配置。


记住,第一删除数据是不可恢复的,一定要慎重。第二小文件可能会带来膨胀,所以小文件需要排除,其次冷归档和深度冷归档对存储时长有明确的要求,时长要求在这一层上存够足够的时间180天。在深度冷归档或者冷归档和下一个比它更冷的生成这一条规则之前,要充分考虑时间差。

image.png

点击确认,生命周期规则一栏产生生命周期规则,它会在24小时内被加载,48小时内会生效。之前创建一个按照修改时间的生命周期规则。

image.png

下面创建一个以访问数值为生命周期的规则功能。


以test1/为前缀,文件大小指定最小文件为64KB,开启访问追踪功能后,当前不收费。


点击开始,选择访问周期,这时候可以选择几种不同的类型,如果没有提交工单,可以看到四个选项,如果没有提交过工单,只能看见低频访问类型。两个低频访问的区别是一个数据被访问后,依旧停留在低频档,另一个数据一旦被访问,回到标准档,说明数据可能不会被访问,一旦被访问,会有频繁的访问,就回到标准档。如果数据的特征被访问次数可能会很多,大部分数据不会被访问或访问较少就不用转回标准档。最后一次访问时间设置为90天,把数据转到归档,再加上最后一次访问时间超过180天,把数据转到冷归档,当把所有东西都设置完会发现没办法设置删除,没有深度冷归档存储和数据删除,建议设置一个修改时间,例如超过360天把数据删除,访问时间和修改时间两者可以同时作用到一个规则。

image.png

假设把规则生效,生效的规则在后台是配置文件,配置文件里边前面和后边组合形成规则,所有的规则里面的每一条规则本质上都是并行的,都是用或的关系去执行。单个规则内部也可以设置冲突,冲突之后按照之前的规则操作,规则和规则之间也会有冲突,冲突之后按照最低成本的规则去操作。

image.png

以上为分享全部内容。

相关文章
|
2天前
|
调度 云计算 芯片
云超算技术跃进,阿里云牵头制定我国首个云超算国家标准
近日,由阿里云联合中国电子技术标准化研究院主导制定的首个云超算国家标准已完成报批,不久后将正式批准发布。标准规定了云超算服务涉及的云计算基础资源、资源管理、运行和调度等方面的技术要求,为云超算服务产品的设计、实现、应用和选型提供指导,为云超算在HPC应用和用户的大范围采用奠定了基础。
|
9天前
|
存储 运维 安全
云上金融量化策略回测方案与最佳实践
2024年11月29日,阿里云在上海举办金融量化策略回测Workshop,汇聚多位行业专家,围绕量化投资的最佳实践、数据隐私安全、量化策略回测方案等议题进行深入探讨。活动特别设计了动手实践环节,帮助参会者亲身体验阿里云产品功能,涵盖EHPC量化回测和Argo Workflows量化回测两大主题,旨在提升量化投研效率与安全性。
云上金融量化策略回测方案与最佳实践
|
11天前
|
人工智能 自然语言处理 前端开发
从0开始打造一款APP:前端+搭建本机服务,定制暖冬卫衣先到先得
通义灵码携手科技博主@玺哥超carry 打造全网第一个完整的、面向普通人的自然语言编程教程。完全使用 AI,再配合简单易懂的方法,只要你会打字,就能真正做出一个完整的应用。
8880 20
|
15天前
|
Cloud Native Apache 流计算
资料合集|Flink Forward Asia 2024 上海站
Apache Flink 年度技术盛会聚焦“回顾过去,展望未来”,涵盖流式湖仓、流批一体、Data+AI 等八大核心议题,近百家厂商参与,深入探讨前沿技术发展。小松鼠为大家整理了 FFA 2024 演讲 PPT ,可在线阅读和下载。
4769 12
资料合集|Flink Forward Asia 2024 上海站
|
15天前
|
自然语言处理 数据可视化 API
Qwen系列模型+GraphRAG/LightRAG/Kotaemon从0开始构建中医方剂大模型知识图谱问答
本文详细记录了作者在短时间内尝试构建中医药知识图谱的过程,涵盖了GraphRAG、LightRAG和Kotaemon三种图RAG架构的对比与应用。通过实际操作,作者不仅展示了如何利用这些工具构建知识图谱,还指出了每种工具的优势和局限性。尽管初步构建的知识图谱在数据处理、实体识别和关系抽取等方面存在不足,但为后续的优化和改进提供了宝贵的经验和方向。此外,文章强调了知识图谱构建不仅仅是技术问题,还需要深入整合领域知识和满足用户需求,体现了跨学科合作的重要性。
|
23天前
|
人工智能 自动驾驶 大数据
预告 | 阿里云邀您参加2024中国生成式AI大会上海站,马上报名
大会以“智能跃进 创造无限”为主题,设置主会场峰会、分会场研讨会及展览区,聚焦大模型、AI Infra等热点议题。阿里云智算集群产品解决方案负责人丛培岩将出席并发表《高性能智算集群设计思考与实践》主题演讲。观众报名现已开放。
|
11天前
|
人工智能 容器
三句话开发一个刮刮乐小游戏!暖ta一整个冬天!
本文介绍了如何利用千问开发一款情侣刮刮乐小游戏,通过三步简单指令实现从单个功能到整体框架,再到多端优化的过程,旨在为生活增添乐趣,促进情感交流。在线体验地址已提供,鼓励读者动手尝试,探索编程与AI结合的无限可能。
三句话开发一个刮刮乐小游戏!暖ta一整个冬天!
|
10天前
|
消息中间件 人工智能 运维
12月更文特别场——寻找用云高手,分享云&AI实践
我们寻找你,用云高手,欢迎分享你的真知灼见!
878 58