本文作者:罗云超(寻因生物)、田双坤(阿里云)、郭凯杰(阿里云)、杨凯(阿里云)、邓怡然(阿里云)、穆寰(阿里云)、赵宇航(阿里云)
01关于寻因生物
北京寻因生物科技有限公司(简称 “寻因生物”)是一家专注于单细胞测序技术创新与应用的高新技术企业。自 2018 年启动研发,公司秉持 “All In One” 技术理念与 “All For One” 服务理念,深耕单细胞 & 空间 & 表观测序技术及配套仪器创新,为科研机构、临床医院及药企提供 “技术 + 仪器 + 服务” 一体化解决方案。公司拥有 113 项发明专利申请,牵头 “十四五” 国家重点研发计划 “前沿生物技术” 专项,斩获专精特新中小企业、中关村高新技术企业等认证,2024 年获评国家级专精特新 “小巨人” 称号,已成行业标杆。秉持 “技术驱动创新,解码生命未知” 愿景,致力于成为值得信赖的单细胞创新科研伙伴。
02 基因行业蓬勃发展催生算力平台新挑战
基因测序技术自人类基因组计划提出以来迅猛发展,成本持续下降、通量不断提升,已从科研走向临床与产业应用。当前,其广泛应用于精准医疗、肿瘤早筛、遗传病诊断、药物研发、农业育种及微生物组研究等领域。随着单细胞测序、长读长测序、空间转录组等新技术涌现,多组学整合分析成为趋势,对计算性能、存储扩展性与分析流程标准化提出更高要求。然而,传统生信分析方式面临计算资源弹性不足、流程部署复杂、数据管理困难等痛点,亟需高效、稳定、可扩展的算力平台支撑。
- 算力资源弹性不足与成本高企:基因生信业务存在明显的淡旺季特点,企业自建测序计算集群面临高投入、低利用率的困境,导致业务高峰期算力不足,业务淡季基础设施利用率低的问题。
- 多流程部署复杂与标准化缺失:基因生信流程涉及映射、过滤、去重、排序、索引、比对等多环节,不同分析流程需要不同的软件配置和环境适配,导致流程部署复杂。
- 算力资源调度混乱与浪费:在缺乏智能调度机制的情况下,算力资源分配往往基于经验而非实际需求,导致资源分配不均,企业难以实时监控和优化算力使用效率。
在此背景下,提供普惠易用、按需弹性、经济实惠的算力平台,正成为加速基因生信分析与转化落地的关键基础设施要求。
03 云原生工作流引擎 Argo Workflows 助力复杂工作流构建
云原生工作流引擎 Argo Workflows:复杂生信流程的一站式编排中枢
Argo Workflows 是开源的工作流引擎,CNCF 毕业项目,专为 Kubernetes 而设计,具有强大的编排能力,充分利用了容器的轻量级和灵活性。与传统虚拟机(VM)相比,没有额外的开销和限制。借助 Kubernetes 的调度能力,可并行启动数千个任务,提高处理效率。基于 DAG 和 Step 的灵活组合能够支持定制任意复杂的工作流逻辑,并且借助强大的重试和缓存机制,提升工作流的运行成功率。广泛应用于科学计算、基因测序、自动驾驶等复杂场景。
全托管 Argo Workflows 支持大规模任务编排,降低生信任务的编排复杂度
基因生信分析场景往往面临非常多的复杂工作流构建,在大规模场景下,会遇到一些挑战,包括控制面的稳定性、安全等。阿里云容器服务是国内最早使用和向 Argo Workflows 社区贡献的团队之一,在大规模场景下积累了很多经验。尤其是在基因、生信行业,支持了包括支持超大工作流,超大命令行参数等,完美契合基因与生信行业需求。
阿里云技术团队在深入分析现有开源方案的基础上,对开源版 Argo Workflows[4] 进行了深度优化,上线全托管 Argo Workflows,基于全托管 Argo Workflows 能力,寻因生物实现了:大规模工作流编排、快速构建并管理多条标准化分析流程、像“搭积木”一样复用流程模板,缩短新项目上线时间、可视化监控每一步任务状态,快速定位和处理异常。
04 ACS 提供大规模、低成本、弹性容器算力
BestEffort 容器算力,让生信分析更经济更实惠
基因生信分析(如序列比对、变异检测、批量质控等)多为无状态、高容错、延时不敏感的离线批处理任务 ,高度契合 ACS 的 BestEffort实例特性。BestEffort 实例利用云平台闲置资源,价格远低于保障型实例,适用于可容忍短暂中断或驱逐的任务场景。支持大规模并行 Job,通过快速重启与分布式架构保障整体任务完成率。
大规模秒级弹性,从容应对生信业务快速扩张
生信分析常呈现“突发性高并发”特征,ACS 提供秒级弹性伸缩能力应对流量激增。按需扩缩容无需预置节点,Pod 按实际 vCPU/内存/GPU 资源申请,秒级拉起数百计算单元,避免资源闲置或排队积压。按量付费精确到秒计费,任务结束即停止计费,使企业更经济、更从容地应对业务流量波动。
05 成果与展望
基于阿里云容器服务全托管工作流引擎 Argo Workflows 的强大编排能力,结合阿里云ACS提供低成本弹性算力,使寻因生物的生信分析编排效率提升 70%,成本降低 50% 以上,解决高投入低利用率痛点。秒级弹性伸缩应对业务波动,高峰期快速扩容、低谷期自动缩减,杜绝资源浪费。ACS 托管 Kubernetes 集群,运维复杂度降低 70%。
未来,随着基因测序技术的持续发展和多组学整合分析的深入,阿里云将继续提升托管 Argo Workflows 的任务编排能力,ACS 算力也将支撑基因生信分析进入新阶段。通过阿里云 AI 驱动的智能调度,动态优化算力资源分配、降低技术门槛和使用成本,为科服和临床诊断提供更及时、更可靠的分析支持。
相关链接:
[1]寻因生物
[2]阿里云全托管 Argo Workflows
[3]阿里云容器计算服务 ACS
https://www.aliyun.com/product/acs#introduction
[4]开源版 Argo Workflows
https://github.com/argoproj/argo-workflows