Serverless Argo Workflows大规模计算工作流平台荣获信通院“云原生技术创新标杆案例”

本文涉及的产品
函数计算FC,每月15万CU 3个月
简介: 2024年12月24日,阿里云Serverless Argo Workflows大规模计算工作流平台荣获由中国信息通信研究院颁发的「云原生技术创新案例」奖。

【阅读原文】戳:Serverless Argo Workflows大规模计算工作流平台荣获信通院“云原生技术创新标杆案例”

2024年12月24日,由中国信息通信研究院(以下简称“中国信通院”)主办的“2025中国信通院深度观察报告会:算力互联网分论坛”,在北京隆重召开。本次论坛以“算力互联网 新质生产力”为主题,全面展示中国信通院在算力互联网产业领域的研究、实践与业界共识,与产业先行者共同探索算力互联网产业未来发展的方向。

 

会议公布了“2024年度云原生与应用现代化标杆案例”评选结果,“阿里云Serverless Argo Workflows大规模计算工作流平台” 获得 “云原生技术创新标杆案例”


 

 

 

 

 

什么是Argo Workflows

 

 

 

Argo Workflows[1]是云原生计算基金会CNCF的毕业项目,项目成熟稳定,大量客户实际落地使用。Argo Workflows专为Kubernetes而设计,是离线任务编排与运行引擎,适用于仿真计算、科学计算、金融量化、机器学习数据处理、持续集成等场景。

 

 

Argo Workflow核心能力:

 

完善的UI / CLI / REST API / SDK,易用性好上手快,容易被集成。

 

多子任务编排,支持顺序流程和DAG流程,可以应对复杂流程编排。

 

每个子任务通过Kubernetes Pod运行,可以应对计算密集型任务。

 

预定义模版与模版组合,便于开发和业务复用。

 

 

 

 

 

阿里云Serverless Argo Workflows集群的优势

 

 

 

使用开源Argo Workflows自建工作流系统往往存在以下问题:

 

大规模工作流引起稳定性问题:

 

runC运行Pod,节点多容器争抢计算资源,内存OOM、磁盘满,频繁宕机。

 

工作流结果资源GC失败,controller连接数据库异常重启等。

 

大规模子任务Pod导致Kubernetes APIServer、Argo UI、Argo Controller异常等。

 

单体大工作流数据库归档失败。

 

大文档上传下载慢。

 

成本高,包含资源费用与运维人力成本:

 

工作流运行离线任务,计算资源波动大,按业务高峰规划固定资源池的成本高。

 

减少固定资源池,造成业务高峰工作流排队严重,影响业务效率。

 

不同部门对固定资源的成本难以分摊和统计。

 

日常运维工作量大,包括:底座Kubernetes集群的运维、资源规划、问题诊断、版本持续升级。

 

 

针对开源自建Argo Workflows系统的各种问题,阿里云Serverless Argo Workflows集群[2]采用全托管Kubernetes控制面(复用阿里云容器服务ACK Pro控制面[3])与Argo Workflows控制面,并针对单体大工作流、大规模子任务Pod并行调度运行做了针对性的性能优化,同时使用阿里云容器服务ACS[4]提供的Serverless Pod运行工作流。通过控制面性能调优和ACS的Serverless极致弹性算力,工作流规模对比开源自建提升10倍,单体大工作流可以支持数万子任务Pod,集群整体可以支持数千工作流和数万子任务的并行运行。

 

利用Serverless弹性算力,可以应对离线任务对计算资源波动大的挑战,业务高峰可以调度阿里云充足的计算资源避免工作流排队,提升业务效率。同时,完全按使用收费,避免维护固定资源池,大大降低了计算资源的费用,并支持工作流级别的成本分摊。

 

阿里云Serverless Argo Workflows集群,全托管控制面与数据面,开箱即用,免运维,并提供7*24小时产品化支持,对比开源自建节省大量运维成本。

 

目前,阿里云Serverless Argo Workflows集群已经在自动驾驶仿真计算、科学计算、金融量化、机器学习、数据处理、持续集成领域广泛应用。

 

 

 

 

行业案例

 

 

自动驾驶仿真

 

 

 

预定义仿真流程,仿真系统通过Argo Workflows Rest API提交工作流。

 

每个仿真场景启动一个Pod运行,利用Serverless弹性,并行运行数万Pod,大大加快仿真速度。

 

 

持续集成CI

 

 

 

CI构建是典型的潮汐算力行为,采用ECS/物理机构建模式,需要长期持有固定算力资源,整体资源使用成本较高,并且对于部分突发的构建任务支撑不足。利用Serverless弹性算力,完美解决预留资源高成本与CI突发算力需求的矛盾。

 

预构建工作流模版,自定义CI流程,结合事件驱动,自动触发工作流CI运行。

 

使用Spot算力,大大降低CI运行成本,并通过按量付费补齐能力,保证CI可靠运行。

 

 

量化回测

 

 

 

通过PythonSDK快速提交工作流。

 

每个股票启动一个Pod运行,利用Serverless弹性,并行运行数万Pod,大大加快回测运行速度。

 

 

 

 

总结

 

 

 

 

阿里云容器服务Serverless Argo Workflows大规模工作流平台作为云原生技术创新标杆案例,引领了云原生大规模离线任务处理的新方法。未来会继续在Serverless弹性、大规模、稳定性、成本等方向深耕,进一步促进大规模离线任务在Serverless场景下的快速落地。

 

欢迎使用钉钉搜索群号加入我们。(钉钉群号:35688562

 

相关链接:

 

[1] Argo Workflows

https://argoproj.github.io/workflows/

 

[2] 阿里云Serverless Argo Workflows集群

https://help.aliyun.com/zh/ack/distributed-cloud-container-platform-for-kubernetes/user-guide/overview-12

 

[3] 阿里云容器服务ACK Pro

https://help.aliyun.com/zh/ack/ack-managed-and-ack-dedicated/product-overview/what-is-ack

 

[4] 阿里云容器服务ACS

https://help.aliyun.com/zh/cs/product-introduction



我们是阿里巴巴云计算和大数据技术幕后的核心技术输出者。

欢迎关注 “阿里云基础设施”同名微信微博知乎

获取关于我们的更多信息~

相关实践学习
【文生图】一键部署Stable Diffusion基于函数计算
本实验教你如何在函数计算FC上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。函数计算提供一定的免费额度供用户使用。本实验答疑钉钉群:29290019867
建立 Serverless 思维
本课程包括: Serverless 应用引擎的概念, 为开发者带来的实际价值, 以及让您了解常见的 Serverless 架构模式
目录
打赏
0
8
9
0
226
分享
相关文章
感谢认可!阿里云云原生大规模云边协同技术荣获浙江省科学技术进步奖一等奖
感谢认可!阿里云云原生大规模云边协同技术荣获浙江省科学技术进步奖一等奖
云栖实录 | 智能运维:云原生大规模集群GitOps实践
云栖实录 | 智能运维:云原生大规模集群GitOps实践
实力见证!数据管理服务DMS、云原生多模数据库Lindorm荣获“2024技术卓越奖”
实力见证!数据管理服务DMS、云原生多模数据库Lindorm荣获“2024技术卓越奖”
智能运维:云原生大规模集群GitOps实践
智能运维:云原生大规模集群GitOps实践,由阿里云运维专家钟炯恩分享。内容涵盖云原生运维挑战、管理实践、GitOps实践及智能运维体系。通过OAM模型和GitOps优化方案,解决大规模集群的发布效率与稳定性问题,推动智能运维工程演进。适用于云原生环境下的高效运维管理。
云消息队列 Kafka 版 V3 系列荣获信通院“云原生技术创新标杆案例”
2024 年 12 月 24 日,由中国信息通信研究院(以下简称“中国信通院”)主办的“2025 中国信通院深度观察报告会:算力互联网分论坛”,在北京隆重召开。本次论坛以“算力互联网 新质生产力”为主题,全面展示中国信通院在算力互联网产业领域的研究、实践与业界共识,与产业先行者共同探索算力互联网产业未来发展的方向。会议公布了“2024 年度云原生与应用现代化标杆案例”评选结果,“云消息队列 Kafka 版 V3 系列”荣获“云原生技术创新标杆案例”。
阿里云容器服务&云安全中心团队荣获信通院“云原生安全标杆案例”奖
2024年12月24日,阿里云容器服务团队与云安全中心团队获得中国信息通信研究院「云原生安全标杆案例」奖。
Serverless + AI 让应用开发更简单,加速应用智能化
Serverless + AI 让应用开发更简单,加速应用智能化
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
海量日志接入 Serverless 应用降本70%以上
本文将探讨在日志场景下,使用阿里云Elasticsearch Serverless相较于基于ECS自建Elasticsearch集群的成本与性能优势,展示如何通过Serverless架构实现高达 70%以上的成本节约。
146 0
阿里云 EMR Serverless Spark 在微财机器学习场景下的应用
面对机器学习场景下的训练瓶颈,微财选择基于阿里云 EMR Serverless Spark 建立数据平台。通过 EMR Serverless Spark,微财突破了单机训练使用的数据规模瓶颈,大幅提升了训练效率,解决了存算分离架构下 Shuffle 稳定性和性能困扰,为智能风控等业务提供了强有力的技术支撑。
154 15

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等