带你读《生命科学行业云上解决方案及最佳实践》——五大解决方案(下)

简介: 带你读《生命科学行业云上解决方案及最佳实践》——五大解决方案(下)

《生命科学行业云上解决方案及最佳实践》——阿里云高性能计算生命科学行业解决方案——五大解决方案(上) https://developer.aliyun.com/article/1227237?groupCode=ecs



3 HPC+AI 的高性能容器方案

得益于容器化技术跨平台运行的特性,不少生命科学行业的应用也支持容器化部署,从而降低业务部署的复杂性。阿里云 E-HPC 发布了高性能容器应用 eStack,支持通过容器镜像部署集群计算任务。在支持 E-HPC 原有能力(如弹性伸缩、性能监控等)的基础上,高性能容器应用eStack 可为生命科学类应用提供更加高效和便捷的解决方案。

image.png


方案说明:高性能容器应用 eStack 支持以容器的方式部署和调度业务。针对生信类应用版本众多、依赖环境复杂,通过将应用打包成容器进行调度更为适合。例如,客户的生信应用工作流的逻辑顺序为 A、B、C,A 部分的业务基于 CentOS 6 和开源编译器构建,B 部分的业务基于CentOS 7 和商用编译器构建,C 部分业务又可能与 A、B 不同。在这种情况下,使用高性能容器应用 eStack 可以支持使用多种软件栈的生信应用运行在同一个平台。


方案特点:

高便捷性:eStack 提供多种操作系统和生信类应用的系统镜像(如 BWA,GATK 等),且支持 docker、singularity 等主流容器镜像,做到应用的开箱即用。

高兼容性:软件方面,eStack 支持 MPI、PBS、Slurm 调度以及 E-HPC 的自动伸缩;硬

件方面,eStack 支持 RoCE、IB 等高性能网络,GPU 等异构计算资源,CPFS、NAS 等

高性能存储。


4 生信行业应用大内存解决方案

在基因测序数据分析过程中,每个细胞的表达量数据高达数十万条读取 (reads),这种海量级的数据分析对内存容量提出了更高的要求。针对大内存容量需求的场景,阿里云与合作伙伴Memverge 联合推出了生信行业应用大内存解决方案。


image.png


5 生信行业应用高 IO 解决方案


在生物信息领域里有一个分支是组织学,该分支主要将基因检测设备检测出来的基因数据文件进行比对、分析、拼接和筛选等工作,在由此建立起来的测序与分析 pipeline 过程中,基因研究产生的数据快速增长且需永久保存,这就要求存储系统具有海量容量及高扩展性。另外,基因研究应用软件种类众多,部分计算任务对 IO 吞吐要求很高,需要在分析处理阶段保证并行执行应用程序的读写性能,这就需要存储系统能提供高吞吐能力,支持进行连续地并行读写。针对基因组织学应用对存储容量和性能的较高要求,阿里云与合作伙伴联科集团联合推出生信行业应用高 IO 解决方案。


方案说明:生信领域的应用绝大部分是以 Pipeline 方式出现的计算流程,包括基因分析类的组织学与病例分析类的影像学应用,主要特点如下:


1)基因分析以基因的比对、分析、质量筛选与拼接为主要工作,此类工作以单机内的单核或多核openmp 居多,主要采用 Java、Python、Perl、二进制程序等形式出现,且单个作业任务对 IO吞吐要求高,在多任务并行时,对 IO 的吞吐呈现倍数增长关系,计算则主要以 CPU 算力需求为主。


2)病理影像学及蛋白质研究分析类则是以大量的图片为基础的集群学习或图形图像识别为基础,以及通过三维建模将电镜影像进行 3D 合成等工作,其数据特点是大量图片文件的学习与合成,其计算力特点则是以 CPU 与 GPU 并重的模式。


我们提供的生信行业解决方案包含了高带宽、低延迟的 IO 解决方案,可以在基因比对或分析的计算过程中,避免 IO 出现严重瓶颈,加快计算速度。

image.png


适用场景:

基因的比对、分析、质量筛选与拼接等场景。


关于联智科技

联科集团(中国)有限公司成立于 2000 年,是亚太区首屈一指的高端 IT 解决方案及咨询服务提供商,以云计算、 高性能计算、人工智能和大数据等技术为基础,为客户解决海量数据处理、大规模计算等多种应用问题。联智科技(北京)有限公司成立于 2008 年,是集团在中国大陆的旗舰,专注高性能计算十余年,致力于将 HPC 这一利器赋能百行千业。公司获得国家高新技术企业认定,自主研发的高性能计算管理平台 CHESS 荣获「中国优秀软件产品」称号。经过多年 HPC 项目交付经验的积累,向上千家高等院校、科研机构、政府部门、企事业单位、军工单位等用户提供高性能计算行业解决方案。

相关文章
|
26天前
|
存储 人工智能 自然语言处理
阿里云Elasticsearch AI场景语义搜索最佳实践
本文介绍了如何使用阿里云Elasticsearch结合搜索开发工作台搭建AI语义搜索。
16564 67
|
11天前
|
弹性计算 安全 搜索推荐
阿里云通信推出CPaaS解决方案,助力企业数字化体验升级
想要文本短信、多媒体消息等多种通信资源统一管理? 需要创建多个子账号并确保权限隔离? 希望在不同时间节点支持用量弹性伸缩? 欢迎了解阿里云通信【CPaaS通信中台解决方案】~
阿里云通信推出CPaaS解决方案,助力企业数字化体验升级
|
17天前
|
编解码 弹性计算 Serverless
解锁多媒体处理新纪元:阿里云函数计算,一键驱动高效、灵活、成本优化的文件处理解决方案!
【8月更文挑战第2天】随着云计算的发展,高效灵活的多媒体处理成为必需。阿里云函数计算提供全托管服务,用户仅需上传代码,平台自动配置资源,支持毫秒级弹性伸缩。与对象存储服务集成,实现视频转码、音频提取及图片压缩等功能,按需付费降低成本。示例展示了基于Python的视频转码函数,体现其在多媒体处理领域的强大潜力和优势。
26 10
|
27天前
|
存储 SQL OLAP
分析性能提升40%,阿里云Hologres流量场景最佳实践
分析性能提升40%,阿里云Hologres流量场景最佳实践
|
18天前
|
存储 编解码 人工智能
阿里云函数计算驱动多媒体文件处理解决方案深度体验
在当前的云计算时代,多媒体文件处理已成为众多应用场景中的关键一环,无论是视频转码、图片处理还是音频编辑,都对服务器的计算性能和存储能力提出了极高的要求。阿里云的函数计算(Function Compute,简称FC)作为一种无服务器计算服务,通过与对象存储OSS的紧密结合,为多媒体文件处理提供了高效、灵活且经济的解决方案。
28 3
|
21天前
|
人工智能 运维 安全
阿里云容器服务ACK:高效管理云上应用的容器化解决方案
阿里云容器服务ACK(Alibaba Cloud Container Service for Kubernetes)为开发者提供了一套全面的容器化管理解决方案,旨在简化云上应用的部署、运维和管理。本文将深入探讨ACK的功能、优势及应用场景,为开发者展现容器化技术在云环境下的强大能力。
79 0
|
24天前
|
人工智能 安全 专有云
阿里云飞天企业版获信通院可信云技术最佳实践奖
阿里云飞天企业版获信通院可信云技术最佳实践奖
98 5
|
23天前
|
监控 数据挖掘 大数据
阿里云开源利器:DataX3.0——高效稳定的离线数据同步解决方案
对于需要集成多个数据源进行大数据分析的场景,DataX3.0同样提供了有力的支持。企业可以使用DataX将多个数据源的数据集成到一个统一的数据存储系统中,以便进行后续的数据分析和挖掘工作。这种集成能力有助于提升数据分析的效率和准确性,为企业决策提供有力支持。
|
26天前
|
人工智能 安全 专有云
阿里云飞天企业版获信通院可信云技术最佳实践奖
在中国信息通信研究院举办的“2024可信云大会”上,阿里云飞天企业版凭借“一云多算”能力拿下“可信云技术最佳实践”奖。此外飞天企业版还通过了《“云+应用”一体化运维能力要求》、《行业云平台一体化运营平台评估L4卓越级》等多项评估。
147 1
|
1月前
|
人工智能 自然语言处理 算法