节省60%费用!巧用阿里云归档存储降低基因测序成本

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,恶意文件检测 1000次 1年
对象存储 OSS,内容安全 1000次 1年
简介:

“如果有款存储产品能在保证业务正常运行的时候节省60%的成本,我会毫不犹豫选择它”。

我的工作是做生物基因测序的,我们公司很早就在云上搭建了数据分析平台(云的优势不多说了,省心省钱),数据通过采集设备生成后,会立即上传到云端进行预订的测序分析。当然了,考虑到算法更新,这些数据都是保存在云端的,有了新的分析方法就可以进行更多维度的分析,无需重新采集。

存储周期长是基因数据的特点,在采集后的最初几个月内会被频繁访问,对于数据实时的响应性要求极高。但经过开始的几个月后,原始数据访问频率就开始大幅下降,所以我们尽量会寻找不同访问特性的存储,去降低总存储成本。

之前我们用的一直是阿里云的OSS标准存储,虽然速度快、延迟低、吞吐能力强,但对我们业务的不同时期来说有些“性能过剩”。所以当我们看到阿里云新上线的归档存储OSSArchive的价格的时候,说句实话,挺惊讶的:毕竟这款产品比OSS便宜得多。然后又想到阿里云看的挺远,不免有些服气。

归档存储有多便宜呢?相比标准存储低了近60%,适用于长期(几年甚至更长时间)存储的归档数据取回。按照存储容量300TB来计算,如果使用归档类型存储一年是221184元,即使与300TB年存储包相比,也可节省11万元以上。

image


对基因行业,这是个非常大的惊喜,因为每个基因文件的大小在几GB到几十GB不等,随着基因测序的需求增加,存储规模增长非常快,其在总成本中占有的比例也在不断增大。

另一个吸引我的地方是归档存储采用的是OSS标准API,跟我们现有的数据管理与分析平台完全配套,无需进行平台改造。

归档存储的上手非常简单,我们经过了几天的方案验证后,很快完成了全新的业务架构搭建。

下面是一个归档类型Bucket创建、文件上传、查询、解冻与下载的简单流程:

1、创建归档类型的Bucket

首先通过控制台创建一个归档类型Bucket,当前阿里云OSS开放的是华北2(北京)区域,开通归档类型Bucket流程和其他存储类型Bucket是相同的。

image

2、上传数据

OSS提供的ossutil工具可以自动根据文件大小适配上传模式,包括PUT 上传、分片上传。基因文件普遍都是GB级以上,需要通过分片机制,将大文件能够拆分成多个片段独立上传。

image

3、查询文件列表

OSS API和相关工具可以实时查询文件列表。

image

4、文件解冻

归档存储与标准类型在读取Object前,需要有一个Restore操作,按照OSSArchive文档中介绍,上传到归档类型的Object处于冷冻状态,需要先解冻后进入到可读取状态,Restore操作后需要等待1~4个小时的等待时间。

image


在Restore解冻过程中的Object会显示ongoing-request="true"。

解冻完成后,查询Object状态会显示解冻完成可以直接下载,expiry-date为过期时间,过期时间一到,Object会重新进入冷冻状态。

image


解冻操作是需要收取费用的,每解冻 1GB数据需要0.06元,所以不需要立即使用的Object还是让它安安静静的保存吧。解冻完成24小时后Object会重新回到冷冻状态,参考官网文档处于解冻状态下,可以通过多次调用Restore,使Object最长保持七天可读状态。

5、文件下载、读取分析


image


已经解冻的Object可以和标准类型的Object一样的下载方式 。

对于基因数据的管理,我们对每个基因文件的元信息使用了数据库保存,每个基因文件都会记录上传时期和近半年内使用信息,对于上传时间超过一定时期并且长期没有访问的基因文件,会从标准类型的Bucket中迁移到归档类型Bucket。

归档存储类型总体使用下来的体验不错,也给OSS产品提个建议吧,希望后期能支持加入Restore解冻完成的事件通知,现在应用程序实现中都是每隔一小时去获取下Restore的状态。

目录
相关文章
|
26天前
|
存储 弹性计算 监控
【阿里云云原生专栏】成本优化策略:在阿里云云原生平台上实现资源高效利用
【5月更文挑战第29天】本文探讨了在阿里云云原生平台上实现资源高效利用和成本优化的策略。通过资源监控与评估,利用CloudMonitor和Prometheus等工具分析CPU、内存等使用情况,识别浪费。实施弹性伸缩策略,利用自动伸缩规则根据业务负载动态调整资源。借助容器化管理和Kubernetes编排提高资源利用率,优化存储选择如OSS、NAS,以及网络配置如VPC和CDN。示例展示了如何使用Kubernetes的HorizontalPodAutoscaler进行弹性伸缩,降低成本。
125 4
软著干货:阿里云软件著作权申请流程及费用(快速下证)
阿里云软件著作权申请涉及账号注册、实名认证和选择服务。在阿里云官网注册账号,通过实名认证后,选择计算机软件著作权登记服务,如普通359元/件或加急1080元/件。在线填写申请表单,经过阿里云初审、授权提交、打印申请表并邮寄材料。版权中心审查后,20个工作日内可领取证书。详细流程见阿里云百科相关指南。
|
1月前
|
SQL 分布式计算 数据挖掘
阿里云MaxCompute携手华大基因打造精准医疗应用云平台,十万基因组计算成本降低至1000美金以内
华大基因是中国最领先的基因科技公司,华大基因为消除人类病痛、经济危机、国家灾难、濒危动物保护、缩小贫富差距等方面提供分子遗传层面的技术支持。让我们结合maxcompute的技术特点,看看如何助力华大基因。
1768 12
|
1月前
|
存储 弹性计算 监控
【阿里云弹性计算】成本优化实战:利用阿里云 ECS 抢占式实例节省云支出
【5月更文挑战第21天】阿里云ECS的抢占式实例提供了一种成本优化策略,适合对中断容忍度较高的业务。通过创建和管理抢占式实例,结合API查询价格信息,企业能节省大量成本。使用时注意业务容错性,设置监控系统应对中断,结合其他成本优化措施,如存储类型选择和网络配置优化。确保业务可恢复性,关注阿里云政策,并根据业务变化调整策略,以实现成本与效益的最佳平衡。
69 3
|
1月前
|
存储 弹性计算 监控
利用阿里云云产品进行项目成本节约的实践
本文分享了利用阿里云降低成本的实践经验,主要通过选择合适的计费模式(如按量付费、包年包月和抢占式实例)、优化资源配置(弹性伸缩、资源监控与调整、适配存储方案)、利用优惠和成本管理工具(预留实例券、成本预警、优惠活动)以及案例分析,实现云计算成本的有效控制。通过这些策略,企业在保证灵活性和扩展性的同时,能更好地管理云服务成本,提高项目经济效益。
98 1
|
1月前
|
存储 弹性计算 监控
探索阿里云弹性计算:如何优化云服务器ECS的性能与成本
在云时代,【阿里云ECS】的性能优化与成本控制至关重要。利用实例规格选择、自动伸缩、网络和存储配置,可增强性能、减少成本。结合监控工具和优化建议,用户能解决性能问题,提升应用稳定性,实现高效且经济的云计算运营。
74 1
|
29天前
|
弹性计算 数据库 云计算
【阿里云弹性计算】云成本管理艺术:利用阿里云ECS预留实例节约成本
【5月更文挑战第26天】阿里云ECS预留实例助力企业有效管理云成本,提供预付费计费模式,降低高达70%的费用。适合长期稳定需求、可预测业务高峰和批量部署场景。通过预留实例,企业能确保资源保障、灵活调整并节约成本,实现成本优化与业务连续性的平衡。
113 0
|
1月前
阿里云域名注册流程图和费用说明,新手第一次购买域名攻略
阿里云域名注册指南:访问[阿里云域名注册入口查询域名,选择后缀,加入清单并结算。价格如.com: 78元/首年。创建信息模板进行实名认证。获取优惠口令并使用,参照流程完成购买。详细步骤及域名价格详情见原文。
206 0
|
1月前
|
消息中间件 运维 安全
使用成本降低50%!阿里云消息队列ApsaraMQ全系Serverless化
使用成本降低50%!阿里云消息队列ApsaraMQ全系Serverless化
42 0
|
3天前
|
存储 弹性计算 Linux
阿里云账号注册、完成实名认证、试用云服务器和购买云服务器流程参考
本文为大家介绍新手用户从注册阿里云账号,完成实名认证,然后试用云服务器和购买云服务器的主要流程,适合初次购买和试用阿里云服务器的新手用户参考。
阿里云账号注册、完成实名认证、试用云服务器和购买云服务器流程参考

热门文章

最新文章