寻因生物 × 阿里云 ACS:Argo Workflows 驱动的基因分析新范式

简介: 国家级专精特新“小巨人”企业寻因生物[1],基于阿里云容器服务全托管工作流引擎 Argo Workflows[2] (以下简称:全托管 Argo Workflows)与容器计算服务 ACS[3](以下简称:ACS)构建的了新一代基因生信分析平台。该平台实现生信流程编排效率提升 70%、计算成本降低超 50%、运维复杂度下降 70%,为单细胞、空间转录组、表观测序技术等前沿研究提供了高效、弹性、标准化的算力基础设施。

本文作者:罗云超(寻因生物)、田双坤(阿里云)、郭凯杰(阿里云)、杨凯(阿里云)、邓怡然(阿里云)、穆寰(阿里云)、赵宇航(阿里云)


01关于寻因生物


北京寻因生物科技有限公司(简称 “寻因生物”)是一家专注于单细胞测序技术创新与应用的高新技术企业。自 2018 年启动研发,公司秉持 “All In One” 技术理念与 “All For One” 服务理念,深耕单细胞 & 空间 & 表观测序技术及配套仪器创新,为科研机构、临床医院及药企提供 “技术 + 仪器 + 服务” 一体化解决方案。公司拥有 113 项发明专利申请,牵头 “十四五” 国家重点研发计划 “前沿生物技术” 专项,斩获专精特新中小企业、中关村高新技术企业等认证,2024 年获评国家级专精特新 “小巨人” 称号,已成行业标杆。秉持 “技术驱动创新,解码生命未知” 愿景,致力于成为值得信赖的单细胞创新科研伙伴。


02 基因行业蓬勃发展催生算力平台新挑战


基因测序技术自人类基因组计划提出以来迅猛发展,成本持续下降、通量不断提升,已从科研走向临床与产业应用。当前,其广泛应用于精准医疗、肿瘤早筛、遗传病诊断、药物研发、农业育种及微生物组研究等领域。随着单细胞测序、长读长测序、空间转录组等新技术涌现,多组学整合分析成为趋势,对计算性能、存储扩展性与分析流程标准化提出更高要求。然而,传统生信分析方式面临计算资源弹性不足、流程部署复杂、数据管理困难等痛点,亟需高效、稳定、可扩展的算力平台支撑。


  • 算力资源弹性不足与成本高企:基因生信业务存在明显的淡旺季特点,企业自建测序计算集群面临高投入、低利用率的困境,导致业务高峰期算力不足,业务淡季基础设施利用率低的问题。
  • 多流程部署复杂与标准化缺失:基因生信流程涉及映射、过滤、去重、排序、索引、比对等多环节,不同分析流程需要不同的软件配置和环境适配,导致流程部署复杂。
  • 算力资源调度混乱与浪费:在缺乏智能调度机制的情况下,算力资源分配往往基于经验而非实际需求,导致资源分配不均,企业难以实时监控和优化算力使用效率。


在此背景下,提供普惠易用、按需弹性、经济实惠的算力平台,正成为加速基因生信分析与转化落地的关键基础设施要求。


03 云原生工作流引擎 Argo Workflows 助力复杂工作流构建


云原生工作流引擎 Argo Workflows:复杂生信流程的一站式编排中枢

Argo Workflows 是开源的工作流引擎,CNCF 毕业项目,专为 Kubernetes 而设计,具有强大的编排能力,充分利用了容器的轻量级和灵活性。与传统虚拟机(VM)相比,没有额外的开销和限制。借助 Kubernetes 的调度能力,可并行启动数千个任务,提高处理效率。基于 DAG 和 Step 的灵活组合能够支持定制任意复杂的工作流逻辑,并且借助强大的重试和缓存机制,提升工作流的运行成功率。广泛应用于科学计算、基因测序、自动驾驶等复杂场景。



全托管 Argo Workflows 支持大规模任务编排,降低生信任务的编排复杂度


基因生信分析场景往往面临非常多的复杂工作流构建,在大规模场景下,会遇到一些挑战,包括控制面的稳定性、安全等。阿里云容器服务是国内最早使用和向 Argo Workflows 社区贡献的团队之一,在大规模场景下积累了很多经验。尤其是在基因、生信行业,支持了包括支持超大工作流,超大命令行参数等,完美契合基因与生信行业需求


阿里云技术团队在深入分析现有开源方案的基础上,对开源版 Argo Workflows[4] 进行了深度优化,上线全托管 Argo Workflows,基于全托管 Argo Workflows 能力,寻因生物实现了:大规模工作流编排、快速构建并管理多条标准化分析流程、像“搭积木”一样复用流程模板,缩短新项目上线时间、可视化监控每一步任务状态,快速定位和处理异常。


04 ACS 提供大规模、低成本、弹性容器算力


BestEffort 容器算力,让生信分析更经济更实惠

基因生信分析(如序列比对、变异检测、批量质控等)多为无状态、高容错、延时不敏感的离线批处理任务 ,高度契合 ACS 的 BestEffort实例特性。BestEffort 实例利用云平台闲置资源,价格远低于保障型实例,适用于可容忍短暂中断或驱逐的任务场景。支持大规模并行 Job,通过快速重启与分布式架构保障整体任务完成率。



大规模秒级弹性,从容应对生信业务快速扩张

生信分析常呈现“突发性高并发”特征,ACS 提供秒级弹性伸缩能力应对流量激增。按需扩缩容无需预置节点,Pod 按实际 vCPU/内存/GPU 资源申请,秒级拉起数百计算单元,避免资源闲置或排队积压。按量付费精确到秒计费,任务结束即停止计费,使企业更经济、更从容地应对业务流量波动。



05 成果与展望


基于阿里云容器服务全托管工作流引擎 Argo Workflows 的强大编排能力,结合阿里云ACS提供低成本弹性算力,使寻因生物的生信分析编排效率提升 70%,成本降低 50% 以上,解决高投入低利用率痛点。秒级弹性伸缩应对业务波动,高峰期快速扩容、低谷期自动缩减,杜绝资源浪费。ACS 托管 Kubernetes 集群,运维复杂度降低 70%。

未来,随着基因测序技术的持续发展和多组学整合分析的深入,阿里云将继续提升托管 Argo Workflows 的任务编排能力,ACS 算力也将支撑基因生信分析进入新阶段。通过阿里云 AI 驱动的智能调度,动态优化算力资源分配、降低技术门槛和使用成本,为科服和临床诊断提供更及时、更可靠的分析支持。



相关链接:

[1]寻因生物

https://www.seekgene.com/

[2]阿里云全托管 Argo Workflows

https://help.aliyun.com/zh/ack/distributed-cloud-container-platform-for-kubernetes/user-guide/overview-12

[3]阿里云容器计算服务 ACS

https://www.aliyun.com/product/acs#introduction

[4]开源版 Argo Workflows

https://github.com/argoproj/argo-workflows 



相关文章
|
机器学习/深度学习 运维 安全
阿里云 ACK One Serverless Argo 助力深势科技构建高效任务平台
阿里云 ACK One Serverless Argo 助力深势科技构建高效任务平台
102683 8
|
数据采集 运维 DataWorks
DataWorks 千万级任务调度与全链路集成开发治理赋能智能驾驶技术突破
智能驾驶数据预处理面临数据孤岛、任务爆炸与开发运维一体化三大挑战。DataWorks提供一站式的解决方案,支持千万级任务调度、多源数据集成及全链路数据开发,助力智能驾驶模型数据处理与模型训练高效落地。
1071 0
|
编解码 弹性计算 搜索推荐
阿里云E-HPC+i4p大内存实例,加速寻因生物单细胞数据分析效率
将单细胞测序技术与IT基础设施结合在一起,实现1+1大于2的效果。
阿里云E-HPC+i4p大内存实例,加速寻因生物单细胞数据分析效率
|
Kubernetes 大数据 调度
Airflow vs Argo Workflows:分布式任务调度系统的“华山论剑”
本文对比了Apache Airflow与Argo Workflows两大分布式任务调度系统。两者均支持复杂的DAG任务编排、社区支持及任务调度功能,且具备优秀的用户界面。Airflow以Python为核心语言,适合数据科学家使用,拥有丰富的Operator库和云服务集成能力;而Argo Workflows基于Kubernetes设计,支持YAML和Python双语定义工作流,具备轻量化、高性能并发调度的优势,并通过Kubernetes的RBAC机制实现多用户隔离。在大数据和AI场景中,Airflow擅长结合云厂商服务,Argo则更适配Kubernetes生态下的深度集成。
1450 34
|
机器学习/深度学习 人工智能 Kubernetes
Argo Workflows 加速在 Kubernetes 上构建机器学习 Pipelines
Argo Workflows 是 Kubernetes 上的工作流引擎,支持机器学习、数据处理、基础设施自动化及 CI/CD 等场景。作为 CNCF 毕业项目,其扩展性强、云原生轻量化,受到广泛采用。近期更新包括性能优化、调度策略增强、Python SDK 支持及 AI/大数据任务集成,助力企业高效构建 AI、ML、Data Pipelines。
1272 0
|
12月前
|
缓存 Linux 云计算
OOM 杀进程 or 应用卡顿?该如何抉择
阿里云操作系统控制台推出了 FastOOM 功能,支持节点以及 Pod 级别的用户态 OOM 配置,通过提前介入杀进程的方式避 Near-OOM 导致的抖动夯机。
508 0
|
6月前
|
人工智能 Kubernetes 机器人
一键部署 OpenClaw:基于 ACS Agent Sandbox 构建企业级 AI Agent 应用
本文将详细介绍如何基于 ACS Agent Sandbox 一键部署 OpenClaw,实现按需休眠与秒级唤醒,并介绍其与钉钉等应用的集成方法。
1879 7
|
12月前
|
运维 监控 Cloud Native
【云故事探索】NO.17:国诚投顾的云原生 Serverless 实践
国诚投顾携手阿里云,依托Serverless架构实现技术全面升级,构建高弹性、智能化技术底座,提升业务稳定性与运行效率。通过云原生API网关、微服务治理与智能监控,实现流量精细化管理与系统可观测性增强,打造安全、敏捷的智能投顾平台,助力行业数字化变革。
【云故事探索】NO.17:国诚投顾的云原生 Serverless 实践

热门文章

最新文章