生信分析场景下,如何将 BLAST 作业计算成本降低 91%

简介: Memory Machine Cloud 能够有效的为应用自动更换云主机实例,无需始终按照最高需求来设置固定的云主机类型。

客户名称:宏序生物

所属行业:医疗

客户简介:致力于在临床医学、生命健康提供一站式、全方位服务和系统解决方案。

宏序生物面临的挑战

宏序生物生信团队使用的主要计算分析工具之一是 BLAST,可将输入的核酸或蛋白质序列与数据库中的已知序列进行比对,获得序列相似度等信息。为实现IT资源的弹性伸缩和优化管理,宏序生物的大多数 BLAST 都已经在云服务器上运行。BLAST 工作负载在运行过程中并不会保持一直占用固定的算力资源比例,所需的云资源需求随时波动变化,包括 "高峰"和“低谷”的用量需求。

应对这种业务上的起伏波动,最简单粗放的解决方案是以业务最高峰时的云资源用量来匹配对应的云主机实例,这种方式本质上是一种不顾成本的过度配置。

举个例子,在BLAST 运行过程中的云主机实例按照最高业务压力时刻的配置为 32 个 vCPU 和 64GB 云内存,此时任务可以在 11 小时 44 分钟内完成,成本高达 17.22 美元。而如果考虑成本节省改为较低配置(按照各个时刻的资源消耗的平均值),可以将云主机实例成本降低到 12.63 美元,便宜 27%。但是带来的代价则是性能下降,低配置云主机实例会导致运行时间增加了 53%,达到 18 小时 4 分钟。

另一方面,如果客户为了节省成本而选择 Spot 云主机实例,在 Spot 云主机实例中运行 BLAST 可以显著降低成本,但也同样存在问题,如果发生 Spot 实例被回收,将停止作业,需要从头开始运行,影响整体生产效率。

MemVerge提供的解决方案

Memory Machine Cloud 的 WaveRider 功能,能够在应用运行时,根据当前的云主机业务压力,有效的为应用自动更换云主机实例,因此可以有效解决 "高峰" 时对于云资源的弹性需求,无需始终按照最高需求来设置固定的云主机类型。

MemVerge 的 SpotSurfer 技术使得长时间运行的 BLAST 在 Spot 云主机实例上安全运行成为可能,因为它们可以在 Spot 云主机实例被回收时,将应用运行时刻的状态保护起来,并迁移到新的实例中继续运行。

下图显示了 WaveRider 如何使宏序生物的 BLAST 工作负载能够根据业务压力来自动调整云主机实例类型。

云主机实例之间的变更和业务迁移是完全自动化的,不需要用户干预。自动化的相关策略(如设置限制最大云主机规格,设置变更时的步长等等)用户可以通过 Memory Machine Cloud 的 CLI 工具或者基于 Web 的 GUI 图形来设置。因此,这使得宏序生物团队可以根据需要自行调整 WaveRider 迁移规则以持续优化成本和性能。

WaveRider 功能为用户的那些起伏波动的业务,在性能和成本之间提供了完美的平衡,与高规格的云主机类型选项(32vCPU,32GB RAM)相比,成本降低了 93%,但执行时间几乎相同,为 12 小时 23 分钟 vs 11 小时 44 分钟。对于每天在云中运行 1,000 个 BLAST 应用程序的企业来说,使用 Memory Machine Cloud的 WaveRider 功能可以节省每天 16,065 美元,年度节省 4,173,000 美元。

以上产品已上架云市场,Get宏旭生物同款体验,30天免费试用中。

相关文章
|
存储 缓存 固态存储
HBase 性能调优第一弹:内存篇
这是使用 HBase 最不可避免的一个话题,就是 HBase 的性能调优,而且通常建立在我们对 HBase 内部运行机制比较了解的基础上进行的,因此无论怎么说,调优这块都是一个相对复杂的事情。这一篇我们先来介绍与 HBase 内存最相关的调优内容。 1. 合理配置 JVM 内存 这里首先涉及 HBase 服务的堆内存设置。一般刚部署的 HBase 集群,默认配置只给 Master 和 RegionServer 分配了 1G 的内存,RegionServer 中 MemStore 默认占 0.4 即 400MB 左右的空间,而一个 MemStore 刷写阈值默认 128M,所以一个 Regi
1357 0
|
数据库 数据安全/隐私保护 Windows
|
8月前
|
SQL 安全 前端开发
如何开发一套EHS健康安全环境管理系统中的绩效管理板块?(附架构图+流程图+代码参考)
本文探讨了如何将EHS(环境、健康与安全)工作转化为可量化、可持续改进的绩效管理体系。许多企业将EHS视为被动合规任务,但通过绩效管理,可将其升级为驱动企业长期价值的工具。文章详细介绍了EHS绩效管理的核心模块、系统架构设计、数据模型、评分算法、前端展示、开发技巧及落地建议,涵盖了从业务流程设计到技术实现的完整路径。同时,还提供了业务指标定义、规则引擎配置、数据采集与分析、可视化看板展示等内容,并结合示例代码与架构图,帮助开发者与管理者理解如何构建一个闭环的EHS绩效管理系统。
|
canal 消息中间件 关系型数据库
Canal作为一款高效、可靠的数据同步工具,凭借其基于MySQL binlog的增量同步机制,在数据同步领域展现了强大的应用价值
【9月更文挑战第1天】Canal作为一款高效、可靠的数据同步工具,凭借其基于MySQL binlog的增量同步机制,在数据同步领域展现了强大的应用价值
2145 4
|
XML 前端开发 小程序
用Prompt技巧激发无限创意
本文深入探讨当前最前沿的prompt engineering方案,结合OpenAI、Anthropic和Google等大模型公司的资料,以及开源社区中宝贵的prompt技巧分享,全面解析这一领域的实践策略。
773 13
|
机器学习/深度学习 并行计算 数据可视化
[transformer]论文实现:Attention Is All You Need(下)
[transformer]论文实现:Attention Is All You Need(下)
518 2
|
C语言 C++ Linux
查看gcc/g++默认include路径
转自:http://gcc.gnu.org/ml/gcc-help/2007-09/msg00205.html   `gcc -print-prog-name=cc1plus` -v `g++ -print-prog-name=cc1plus` -v   例如,CentOS 6.
2283 0
|
Java Python
Java调用Python脚本
Java调用Python脚本
382 0
|
运维 分布式计算 监控
生物信息分析工作流上云技术分享2:Nextflow技术解析与实践
这次我们来深入了解一下NextFlow的软件架构、使用方法,以及与后端计算资源的对接方案。通过实际案例,帮助读者了解NextFlow的强大功能和灵活性。
|
Android开发 数据安全/隐私保护
uni-app&H5&Android混合开发二 || 使用Android Studio打包应用APK
uni-app&H5&Android混合开发二 || 使用Android Studio打包应用APK
539 0
uni-app&H5&Android混合开发二 || 使用Android Studio打包应用APK

热门文章

最新文章