寻因生物 × 阿里云 ACS:Argo Workflows 驱动的基因分析新范式

简介: 国家级专精特新“小巨人”企业寻因生物[1],基于阿里云容器服务全托管工作流引擎 Argo Workflows[2] (以下简称:全托管 Argo Workflows)与容器计算服务 ACS[3](以下简称:ACS)构建的了新一代基因生信分析平台。该平台实现生信流程编排效率提升 70%、计算成本降低超 50%、运维复杂度下降 70%,为单细胞、空间转录组、表观测序技术等前沿研究提供了高效、弹性、标准化的算力基础设施。

本文作者:罗云超(寻因生物)、田双坤(阿里云)、郭凯杰(阿里云)、杨凯(阿里云)、邓怡然(阿里云)、穆寰(阿里云)、赵宇航(阿里云)


01关于寻因生物


北京寻因生物科技有限公司(简称 “寻因生物”)是一家专注于单细胞测序技术创新与应用的高新技术企业。自 2018 年启动研发,公司秉持 “All In One” 技术理念与 “All For One” 服务理念,深耕单细胞 & 空间 & 表观测序技术及配套仪器创新,为科研机构、临床医院及药企提供 “技术 + 仪器 + 服务” 一体化解决方案。公司拥有 113 项发明专利申请,牵头 “十四五” 国家重点研发计划 “前沿生物技术” 专项,斩获专精特新中小企业、中关村高新技术企业等认证,2024 年获评国家级专精特新 “小巨人” 称号,已成行业标杆。秉持 “技术驱动创新,解码生命未知” 愿景,致力于成为值得信赖的单细胞创新科研伙伴。


02 基因行业蓬勃发展催生算力平台新挑战


基因测序技术自人类基因组计划提出以来迅猛发展,成本持续下降、通量不断提升,已从科研走向临床与产业应用。当前,其广泛应用于精准医疗、肿瘤早筛、遗传病诊断、药物研发、农业育种及微生物组研究等领域。随着单细胞测序、长读长测序、空间转录组等新技术涌现,多组学整合分析成为趋势,对计算性能、存储扩展性与分析流程标准化提出更高要求。然而,传统生信分析方式面临计算资源弹性不足、流程部署复杂、数据管理困难等痛点,亟需高效、稳定、可扩展的算力平台支撑。


  • 算力资源弹性不足与成本高企:基因生信业务存在明显的淡旺季特点,企业自建测序计算集群面临高投入、低利用率的困境,导致业务高峰期算力不足,业务淡季基础设施利用率低的问题。
  • 多流程部署复杂与标准化缺失:基因生信流程涉及映射、过滤、去重、排序、索引、比对等多环节,不同分析流程需要不同的软件配置和环境适配,导致流程部署复杂。
  • 算力资源调度混乱与浪费:在缺乏智能调度机制的情况下,算力资源分配往往基于经验而非实际需求,导致资源分配不均,企业难以实时监控和优化算力使用效率。


在此背景下,提供普惠易用、按需弹性、经济实惠的算力平台,正成为加速基因生信分析与转化落地的关键基础设施要求。


03 云原生工作流引擎 Argo Workflows 助力复杂工作流构建


云原生工作流引擎 Argo Workflows:复杂生信流程的一站式编排中枢

Argo Workflows 是开源的工作流引擎,CNCF 毕业项目,专为 Kubernetes 而设计,具有强大的编排能力,充分利用了容器的轻量级和灵活性。与传统虚拟机(VM)相比,没有额外的开销和限制。借助 Kubernetes 的调度能力,可并行启动数千个任务,提高处理效率。基于 DAG 和 Step 的灵活组合能够支持定制任意复杂的工作流逻辑,并且借助强大的重试和缓存机制,提升工作流的运行成功率。广泛应用于科学计算、基因测序、自动驾驶等复杂场景。



全托管 Argo Workflows 支持大规模任务编排,降低生信任务的编排复杂度


基因生信分析场景往往面临非常多的复杂工作流构建,在大规模场景下,会遇到一些挑战,包括控制面的稳定性、安全等。阿里云容器服务是国内最早使用和向 Argo Workflows 社区贡献的团队之一,在大规模场景下积累了很多经验。尤其是在基因、生信行业,支持了包括支持超大工作流,超大命令行参数等,完美契合基因与生信行业需求


阿里云技术团队在深入分析现有开源方案的基础上,对开源版 Argo Workflows[4] 进行了深度优化,上线全托管 Argo Workflows,基于全托管 Argo Workflows 能力,寻因生物实现了:大规模工作流编排、快速构建并管理多条标准化分析流程、像“搭积木”一样复用流程模板,缩短新项目上线时间、可视化监控每一步任务状态,快速定位和处理异常。


04 ACS 提供大规模、低成本、弹性容器算力


BestEffort 容器算力,让生信分析更经济更实惠

基因生信分析(如序列比对、变异检测、批量质控等)多为无状态、高容错、延时不敏感的离线批处理任务 ,高度契合 ACS 的 BestEffort实例特性。BestEffort 实例利用云平台闲置资源,价格远低于保障型实例,适用于可容忍短暂中断或驱逐的任务场景。支持大规模并行 Job,通过快速重启与分布式架构保障整体任务完成率。



大规模秒级弹性,从容应对生信业务快速扩张

生信分析常呈现“突发性高并发”特征,ACS 提供秒级弹性伸缩能力应对流量激增。按需扩缩容无需预置节点,Pod 按实际 vCPU/内存/GPU 资源申请,秒级拉起数百计算单元,避免资源闲置或排队积压。按量付费精确到秒计费,任务结束即停止计费,使企业更经济、更从容地应对业务流量波动。



05 成果与展望


基于阿里云容器服务全托管工作流引擎 Argo Workflows 的强大编排能力,结合阿里云ACS提供低成本弹性算力,使寻因生物的生信分析编排效率提升 70%,成本降低 50% 以上,解决高投入低利用率痛点。秒级弹性伸缩应对业务波动,高峰期快速扩容、低谷期自动缩减,杜绝资源浪费。ACS 托管 Kubernetes 集群,运维复杂度降低 70%。

未来,随着基因测序技术的持续发展和多组学整合分析的深入,阿里云将继续提升托管 Argo Workflows 的任务编排能力,ACS 算力也将支撑基因生信分析进入新阶段。通过阿里云 AI 驱动的智能调度,动态优化算力资源分配、降低技术门槛和使用成本,为科服和临床诊断提供更及时、更可靠的分析支持。



相关链接:

[1]寻因生物

https://www.seekgene.com/

[2]阿里云全托管 Argo Workflows

https://help.aliyun.com/zh/ack/distributed-cloud-container-platform-for-kubernetes/user-guide/overview-12

[3]阿里云容器计算服务 ACS

https://www.aliyun.com/product/acs#introduction

[4]开源版 Argo Workflows

https://github.com/argoproj/argo-workflows 



相关文章
|
监控 安全 数据可视化
情报搜集神器:Spiderfoot 保姆级教程
情报搜集神器:Spiderfoot 保姆级教程
|
6月前
|
人工智能 前端开发 算法
大厂CIO独家分享:AI如何重塑开发者未来十年
在 AI 时代,若你还在紧盯代码量、执着于全栈工程师的招聘,或者仅凭技术贡献率来评判价值,执着于业务提效的比例而忽略产研价值,你很可能已经被所谓的“常识”困住了脚步。
4193 91
大厂CIO独家分享:AI如何重塑开发者未来十年
|
4月前
|
存储 人工智能 安全
一文详解Kimi的AI Agent如何跑在阿里云上
Kimi携手阿里云,基于ACK与ACS Agent Sandbox构建端到端Agent基础设施:实现秒级沙箱启动、万级并发弹性调度、会话级状态保持及强安全隔离,支撑“深度研究”“OK Computer”等智能体产品稳定高效运行。(239字)
1024 1
一文详解Kimi的AI Agent如何跑在阿里云上
|
6月前
|
人工智能 安全 调度
一文详解容器服务面向大模型和 AI Agent 的技术变革
在生成式人工智能迅猛发展的浪潮下,企业应用正加速从模型研究走向业务落地。无论是大规模的数据处理、超大参数模型的训练与推理,还是部署能够自动完成任务的 AI Agent,这些场景都需要稳定、高效且可弹性伸缩的资源调度与管理能力。容器凭借环境一致性、跨平台部署和高效调度等优势,天然契合 AI 场景对多样化算力、快速迭代和规模化分发的要求,成为 AI 时代事实上的原生基石。然而,要满足在生产规模下的需求,产品及技术形态需随之演进。
594 3
|
3月前
|
人工智能 Kubernetes 机器人
一键部署 OpenClaw:基于 ACS Agent Sandbox 构建企业级 AI Agent 应用
本文将详细介绍如何基于 ACS Agent Sandbox 一键部署 OpenClaw,实现按需休眠与秒级唤醒,并介绍其与钉钉等应用的集成方法。
1527 7
|
9月前
|
运维 监控 Cloud Native
【云故事探索】NO.17:国诚投顾的云原生 Serverless 实践
国诚投顾携手阿里云,依托Serverless架构实现技术全面升级,构建高弹性、智能化技术底座,提升业务稳定性与运行效率。通过云原生API网关、微服务治理与智能监控,实现流量精细化管理与系统可观测性增强,打造安全、敏捷的智能投顾平台,助力行业数字化变革。
【云故事探索】NO.17:国诚投顾的云原生 Serverless 实践
|
4月前
|
人工智能 测试技术 开发者
AI Coding后端开发实战:解锁AI辅助编程新范式
本文系统阐述了AI时代开发者如何高效协作AI Coding工具,强调破除认知误区、构建个人上下文管理体系,并精准判断AI输出质量。通过实战流程与案例,助力开发者实现从编码到架构思维的跃迁,成为人机协同的“超级开发者”。
3120 106

热门文章

最新文章