阿里云架构师马颂:云上高性能计算助力基因测序

简介: 基于E-HPC的大内存实例解决方案:算得快、成本低、简运维、助生态

摘要:本文整理自阿里云行业解决方案架构师马颂(栖逸),在阿里云计算情报局的分享。本篇内容主要分为三个部分:

1.  寻因生物简介

2.  单细胞测序及其痛点

3.  寻因生物基于E-HPC的大内存实例解决方案


01 寻因生物简介


1.png


寻因生物创始团队及公司于2018年正式启动组建运营,是一家专注于单细胞技术的生物科技企业。致力于通过自主研发的高通量单细胞产品实验及生信分析全链条服务,将单细胞技术普适化,助力临床诊断和药物研发,推动精准医疗进入2.0时代。


这家成立于2018年,驻扎在北大医疗产业园的初创企业,在2022年1月获得D轮融资,并在上海、广州和成都设立地方实验室。公司面向临床及科研工作者的实际需求,搭建了从样本保存、解离到生信分析的全链条单细胞测序产品及服务解决方案。客户将样本送到寻因生物上海、广州或成都的实验室。


样品采集到之后,在实验室中通过实验进行序列加工和信号放大,将分子循环扩增,给每一个分子和细胞加上标签。辅助识别检测的分子来自哪个细胞、哪个基因。而后通过物流的方式送到北京进行测序。测序的结果上传到寻因的阿里云OSS或通过专线下载到本地,再做单细胞分析。


02 单细胞测序及痛点


2.png


单细胞测序作为2009年首次问世的技术,无疑是现在生命科学基础研究的最大热门。2013年单细胞RNA测序被nature method评为年度技术。2015年单细胞测序技术再度登上science转化医学封面。


单细胞测序,顾名思义是在单个细胞水平,对细胞的基因表达等信息进行检测,对于多细胞生物来说,细胞与细胞之间是有差异的。


相对于传统的测序研究,局限于器官与组织。群体细胞的表达水平,最终得到的信号值,丢失了抑制性信息。单细胞测序可以更高分辨率,解释细胞间的差异,及其在环境中的功能情况,防止细胞间的滥竽充数。


该技术已经应用在基础科研、临床诊断、新药研发等各个领域。作为一项高效的医疗辅助手段,基因测序在预防出生缺陷、检测遗传性疾病、肿瘤用药等领域提供了有效帮助。

3.png


单细胞测序技术的蓬勃发展,也助力了寻因生物业务起步。公司自2021年3月份商业化销售以来,已与100家客户建立科研合作关系。通过屏幕左侧典型单细胞数据分析的步骤流程图,可以看到,在单细胞测序的最后一步,数据分析环节需要针对单细胞测序数据,进行数据预处理。


比如质控、归一化、数据矫正、特征选择、聚类分析、轨迹分析、差异表达分析、基因动力学、亚稳态分析、成分分析等。仅一个单细胞测序的文件大小可达100GB以上。随着一个单细胞项目包含的样本量越来越多,细胞数据级别往往达到数百GB甚至TB。


其次,单细胞数据的分析复杂需要反复做数据读取和参数调整。导致处理海量细胞样本的分析任务,通常要数小时甚至数天才能完成。


当样品量上来,各个样品之间又要做各种关联,或者是更复杂的计算,对于算力的消耗量就会非常大,对算力的要求更高


超大数据量和分析复杂性会导致任务并发数低,数据加载速率慢。除此之外,生物信息行业缺少一个覆盖全程的开源软件。通常一个生物计算项目需要多个软件配合,随着单细胞检测的成本逐渐降低,应用面越来越广,生信数据将是指数级的增长。


生信分析的惯用操作是将样本参数调低,或者仅运行一个比较大型的单细胞分析任务。但在测序任务多的情况下,多个单细胞分析项目只能排队执行。


03 基于E-HPC的大内存实例解决方案


4.png


为了解决上述问题,阿里云为寻因生物搭建了基于E-HPC的大内存实例解决方案。这套方案主要由三部分组成。第一部分是大内存云实例,搭配合作伙伴推出的内存虚拟化软件


2017年,英特尔奥腾SSD推出;2020年,英特尔发布奥腾持久内存100系列,成功完成大规模的商业化;2021年,英特尔发布第三代英特尔至强可扩展处理器,及英特尔奥腾持久内存200系列。同年,阿里云基于以上产品开发了性能更加强大的不同实例规格。


其中,I4P能够提供性能极高的本地盘延时可以缩短至170纳秒,非常适用于重IO型应用帮助此类应用突破性能瓶颈。


寻因生物的单细胞测序分析任务,部署在了基于第三代英特尔至强可扩展处理器,和第二代英特尔奥腾持久内存,I4P持久内存型实例上。配合第一款虚拟化内存硬件的软件Memory Machine,对容量、性能、可用性和移动性进行精细化的资源调配。


在透明内存服务的基础上,还提供了另一个行业第一的技术Zero Io内存快照。该技术可以在几秒钟内封装数TB的应用程序状态,并以内存速度实现数据管理。


第二部分,阿里云的计算巢模式。云厂商开放给企业应用服务商和其客户服务管理的PaaS平台。阿里云让Memory Machine大内存虚拟化软件与云平台的标准化集成加速软件交付部署,并标准化运维管理,大幅提升了业务效率。


第三部分,阿里云弹性高性能计算平台E-HPC,可将寻因生物底层使用的不同规格ECS及存储实例自动纳管和调度。一键安装部署生命科学相关的软件及其运行环境。


自动在业务高峰扩容低谷释放,避免资源浪费,大大节省运维成本。此外,E-HPC可将HPC和软件一键安装部署,免去每个实例,分别安装软件的繁复工作。

5.png


阿里云的大内存实例解决方案,在以下四方面助力寻因生物业务。


第一,算得快。E-HPC解决方案简化编写流程、监控任务投递,以及任务运算的过程。数据加载和导出性能从1000秒缩至2.5秒;单任务的样本规模是原来的2倍。在运行时间和单任务的运行时间几乎差不多的情况下,测序任务的井发运行数由原来的1个提升到了5个,任务处理效率提升了5倍之多。


第二,成本低。E-HPC保证整体算力的同时,动态创建/删除计算节点,避免了资源浪费;提高作业质量及速度,输出丰富云原生能力支撑ECS支持抢占式实例,OSS支持冷归档:付费模式多元,结合业务的需求及数据保存的性能和周期,支持成本出发的精细化调整。


第三,简运维。E-HPC将寻因生物底层使用的不同规格ECS实例自动纳管与调度,可将生命科学相关的HPC软件及其运行环境一键安装部署,将带有MemVerge软件的ECS实例自动纳管与调度,大大节省运维成本通过阿里云的计算巢蟆式将MemoryMachine大内存虚拟化软件与云平台的标准化集成,加速软件交付部署井标准化运维管理,大幅提升了业务效率。


第四,助生态。阿里云多年深耕生物信息行业,已形成多种服务方案和客户资源,能够为上下游生物科技企业的互联互通提供更多支持寻因,基于阿里云开发出直接向用户提供服务的单细胞分析平台,赋予科研用户和药物研发用户分析单细胞数据的能力。


点击这里,观看嘉宾的演讲视频回放。

相关文章
|
2天前
|
Cloud Native Java 编译器
将基于x86架构平台的应用迁移到阿里云倚天实例云服务器参考
随着云计算技术的不断发展,云服务商们不断推出高性能、高可用的云服务器实例,以满足企业日益增长的计算需求。阿里云推出的倚天实例,凭借其基于ARM架构的倚天710处理器,提供了卓越的计算能力和能效比,特别适用于云原生、高性能计算等场景。然而,有的用户需要将传统基于x86平台的应用迁移到倚天实例上,本文将介绍如何将基于x86架构平台的应用迁移到阿里云倚天实例的服务器上,帮助开发者和企业用户顺利完成迁移工作,享受更高效、更经济的云服务。
将基于x86架构平台的应用迁移到阿里云倚天实例云服务器参考
|
20天前
|
机器学习/深度学习 人工智能 弹性计算
阿里云AI服务器价格表_GPU服务器租赁费用_AI人工智能高性能计算推理
阿里云AI服务器提供多样化的选择,包括CPU+GPU、CPU+FPGA等多种配置,适用于人工智能、机器学习和深度学习等计算密集型任务。其中,GPU服务器整合高性能CPU平台,单实例可实现最高5PFLOPS的混合精度计算能力。根据不同GPU类型(如NVIDIA A10、V100、T4等)和应用场景(如AI训练、推理、科学计算等),价格从数百到数千元不等。详情及更多实例规格可见阿里云官方页面。
|
28天前
|
弹性计算 运维 关系型数据库
云上Serverless高可用架构一键部署体验与测评
在数字化转型背景下,Serverless架构因其实现业务敏捷、降低成本及提升服务可靠性而备受青睐。本文以阿里云Serverless应用引擎(SAE)为核心,展示了一种高可用、低成本且易于扩展的解决方案。通过单地域双可用区部署,构建了具备自动伸缩与故障恢复能力的架构。借助阿里云的一键部署功能,大幅简化了搭建流程,实现了快速部署,并通过性能与成本分析验证了其优势。对比传统ECS,SAE在资源利用与运维效率上表现更佳,特别适合平均负载较低的应用场景。
|
1月前
|
运维 数据库 云计算
卓越架构,数据无忧|8月30日,阿里云用户组·上海站沙龙,火热报名中🔥
聚焦数据库 「成本&稳定」方面的技术实现和解決方案,深度互动数据库使用生命周期需求、如何节约数据库成本等
|
2月前
|
人工智能 自然语言处理 Cloud Native
阿里云 AI 原生应用架构开放日上线 CommunityOverCode Asia 2024
诚挚邀请您参加阿帕奇软件基金会亚洲大会——CommunityOverCode Asia 2024。本次活动将汇聚来自世界各地的开发者和科技爱好者,共同探索开源技术的最新进展和未来趋势。我们将在大会期间举办《阿里云 AI 原生应用架构开放日》,欢迎您来现场和我们交流。
280 11
|
1月前
|
关系型数据库 Serverless 分布式数据库
阿里云 Serverless 高可用架构
阿里云的《卓越效能,极简运维,Serverless高可用架构》解决方案提供了全托管服务、自动扩展、高可用性、无缝集成以及内置安全等核心功能。该方案通过免除底层基础设施的管理,允许用户专注于应用程序开发,同时确保应用的稳定运行和资源的有效利用。 **核心功能简介**: - **全托管服务**:用户无需关心底层硬件,由阿里云负责维护和扩展计算资源。 - **自动扩展**:根据业务需求自动调整资源,确保应用在高峰期有足够的计算能力,低谷期则节省成本。 - **高可用性**:多地域和多可用区部署,实现故障自动切换,确保业务连续性。 - **无缝集成**:与阿里云的其他服务(如数据库、消息队列等)深度
|
2月前
|
存储 关系型数据库 数据库
给阿里云的建议和意见 一个云服务器架构是否可行
摘要(Markdown格式): 在修复阿里云服务器IPv4设置错误时遇到困难,导致服务器远程登录失败及外网访问受阻,耗时三天解决。建议阿里云更新文档,确保设置指导与实际情况一致,例如只需在路由表添加条目关联IPv4。此外,建议优化帮助页面,如采用折叠式设计减少干扰。服务器主要任务是数据分析、存储和分发,文中提出简化服务器框架,消除硬件软件复杂配置,利于初学者和独立开发者快速上手,降低时间成本。该设计旨在减少无用组件,节省资源,同时降低云服务商的人力和支持成本。期望云服务商考虑此类架构创新。目前未知是否有类似产品,期待业界反馈。
906 0
给阿里云的建议和意见 一个云服务器架构是否可行
|
21天前
|
Serverless 数据安全/隐私保护 开发者
Serverless 架构问题之阿里云函数计算在事件生态层面如何解决
Serverless 架构问题之阿里云函数计算在事件生态层面如何解决
29 0
|
2月前
|
运维 监控 关系型数据库
阿里云Serverless高可用架构深度评测:构建稳定高效应用的全面指南
随着云计算技术的迅猛发展,Serverless计算作为一种新兴的、以事件驱动的无服务器架构,正在逐渐改变企业构建、部署和管理应用程序的方式。阿里云,作为全球领先的云服务提供商之一,提供了全面的Serverless解决方案,包括PolarDB MySQL Serverless集群和Serverless应用引擎等产品,致力于帮助用户构建高可用、高弹性、低成本的应用系统。本文将深度评测阿里云的Serverless服务,从产品功能、使用体验、部署常见问题、文档与支持的全面性等维度出发,为开发者和企业提供实用的参考。
82 0
|
24天前
|
敏捷开发 测试技术 持续交付
阿里云云效产品使用合集之如何管理企业的组织架构
云效作为一款全面覆盖研发全生命周期管理的云端效能平台,致力于帮助企业实现高效协同、敏捷研发和持续交付。本合集收集整理了用户在使用云效过程中遇到的常见问题,问题涉及项目创建与管理、需求规划与迭代、代码托管与版本控制、自动化测试、持续集成与发布等方面。