Argo Workflows at KubeCon Europe 2025: 多元场景的云原生任务编排

简介: Argo Workflow在KubeCon Europe 2025展示了其在AI/ML/HPC任务、事件驱动、平台工程、批量数据处理、混沌测试等多元场景的云原生任务编排能力。

【阅读原文】戳:Argo Workflows at KubeCon Europe 2025: 多元场景的云原生任务编排

Kubecon Europe 2025于4.1-4.4在London举办,作为Kubernetes和云原生领域的顶级盛会,吸引了超过12000人参与。Argo Project作为云原生领域的旗舰项目,也备受青睐,本文整理了Argo Workflows在KubeCon的关键演讲,主要包括:快速增长的多元化社区、统一编排AI/HPC任务、事件驱动的工作流、平台工程的基石、丰富的使用场景等

 

 

 


快速增长的多元化社区

 

 

来自阿里云容器服务的田双坤作为Maintainer更新了社区的最新进展和Roadmap。社区持续在快速增长,Github Star从14.0K增长到了15.5K。新晋了5位Maintainer,来自全球四个不同的大洲,其中有两位是End User,显示了Argo Workflows多元化发展态势、开放的社区理念。在2024年,主要在用户体验和任务编排性能等领域做了增强,未来会在更多企业级能力,包括规模、生态集成(AI/Bigdata)、Tracing、安全等方面进行进一步增强。

 

 


统一编排AI/HPC任务

 

 

来自Giessen University的研究员Sebastian Beyvers,分享了题为One Engine To Rule Them All: Unifying Cloud Workloads With Argo Workflows的演讲。讲述了如何解决复杂的多环境、多任务类型、多工具采用的问题,通过迁移和集成的方法将Kubeflow、Airflow、Slurm等不同的云工作负载统一到云原生的Argo Workflows平台之上,达到统一的架构,高效的用户与开发体验,极大地提升了运维效率。Giessen University的实践表明,Argo Workflows可以用作统一的任务调度引擎,该演讲引起了用户的广泛关注,现场反响热烈。

 


 

事件驱动的工作流

 

 

来自Pipekit的Darko Janjić深入探讨了如何利用 Argo Events 构建事件驱动的工作流,提升整体的系统的鲁棒性、实时性。 事件驱动已经成为自动化的趋势,通过集成Argo Events可以构建自定义的事件过滤机制,筛选重要事件,并和CI/CD Pipeline平台、安全扫描平台、开发工具等集成,完成实时的故障隔离、问题处理等,有效的节省人工运维成本,减少故障恢复时间。

 


 

平台工程的基石

 

 

来自Upbound的Viktor Farcic和Diagrid的Mauricio Salatino,分享了The Past, the Present, and the Future of Platform Engineering的主题演讲。平台工程的火爆已经不言而喻,其中一个关键的元素就是自动化的Pipeline,演讲中比较了Argo Workflows和Tekton Pipeline的场景,Tekton Pipeline更擅长于CI/CD,而Argo Workflows不单局限于CI/CD,更以其卓越的在并行数据处理和MLOps方面相关的能力得到青睐,现场通过Demo展示了Argo Workfows在任务编排方面的能力。

 

 


丰富的使用场景

 

 

除此之外,多个场景下也见到了Argo Workflows的身影。 来自Akuity的Anjelica Ambrosio分享了在规模化的时序数据分析中使用Argo Workflows的优势、Bloomberg的Will Wang分享了在使用Argo Workflows构建大规模的机器学习Pipeline时遇到的Spec验证问题和解决方案、来自Neo4j的Chris Heisz & Luke Beamish分享了From Click To Chaos: Linking Argo Workflows and Backstage for Automated Testing的主题演讲,介绍了如何集成Argo Workflows去实现高效的混沌测试。

 

 


总结

 

Argo Workflows作为云原生的批量任务编排引擎,在AI/HPC、批量数据处理、平台工程、事件驱动、混沌测试等多个场景下持续受到关注,可以预见,随着社区的蓬勃发展和终端用户的更多输入,未来会有更强大的能力、更多的用户故事。

 

是否准备好使用Argo Workflows构建事件驱动的AI Pipeline?是否想要提升研发效率,改进业务的自动化水平?阿里云容器服务提供的Serverless Argo Workflows,具有高性能、免运维、低成本的特点。欢迎加入钉钉群35688562一同探讨Argo Workflows的更多最佳实践!

 

参考:

 

Argo Workflows:

https://github.com/argoproj/argo-workflows

 

One Engine To Rule Them All: Unifying Cloud Workloads With Argo Workflows:

https://colocatedeventseu2025.sched.com/event/1u5dO/one-engine-to-rule-them-all-unifying-cloud-workloads-with-argo-workflows-sebastian-beyvers-giessen-university

 

Automated Resilience: Using Argo Events for Real-Time Incident Remediation:

https://colocatedeventseu2025.sched.com/event/1u5dC/automated-resilience-using-argo-events-for-real-time-incident-remediation-darko-janjic-pipekit

 

The Past, the Present, and the Future of Platform Engineering:

https://colocatedeventseu2025.sched.com/event/1u5lu/the-past-the-present-and-the-future-of-platform-engineering-mauricio-salatino-diagrid-viktor-farcic-upbound

 

Scaling Time Series Analysis With Argo Workflows: Patterns and Practices:

https://www.youtube.com/watch?v=jXbapwPfB7Q&list=PLj6h78yzYM2N9MWCsU_4upn64NDtHGv6i&index=26

 

Are You Sure It Works? Double Check Your Workflow Spec With Validating Webhooks:

https://www.youtube.com/watch?v=h-WHhA-T4lE&list=PLj6h78yzYM2N9MWCsU_4upn64NDtHGv6i&index=27

 

From Click To Chaos: Linking Argo Workflows and Backstage for Automated Testing:

https://colocatedeventseu2025.sched.com/event/1u5en/from-click-to-chaos-linking-argo-workflows-and-backstage-for-automated-testing-chris-heisz-luke-beamish-neo4j

 

Serverless Argo Workflows:

https://help.aliyun.com/zh/ack/distributed-cloud-container-platform-for-kubernetes/user-guide/overview-12



我们是阿里巴巴云计算和大数据技术幕后的核心技术输出者。

欢迎关注 “阿里云基础设施”同名微信微博知乎

获取关于我们的更多信息~

相关文章
|
4月前
|
运维 Cloud Native Serverless
Serverless Argo Workflows大规模计算工作流平台荣获信通院“云原生技术创新标杆案例”
2024年12月24日,阿里云Serverless Argo Workflows大规模计算工作流平台荣获由中国信息通信研究院颁发的「云原生技术创新案例」奖。
|
9月前
|
Prometheus Kubernetes Cloud Native
云原生周刊:Argo Rollouts 支持 Kubernetes Gateway API 1.0 | 2024.7.1
探索开源世界:Kubetools的推荐系统[Krs](https://github.com/kubetoolsca/krs)助力K8s优化,追踪K8s组件清单,指引IAC集成。阅读建议: Prometheus与Thanos的进化故事,Adidas容器平台管理经验,K8s请求实现详解。关注云原生:Argo Rollouts支持Gateway API 1.0,Kubewarden v1.14强化策略与镜像安全。
124 0
|
5月前
|
Kubernetes Cloud Native 调度
云原生批量任务编排引擎Argo Workflows发布3.6,一文解析关键新特性
Argo Workflows是CNCF毕业项目,最受欢迎的云原生工作流引擎,专为Kubernetes上编排批量任务而设计,本文主要对最新发布的Argo Workflows 3.6版本的关键新特性做一个深入的解析。
|
6月前
|
Kubernetes Cloud Native Serverless
批处理系统:Batch批量计算与云原生Serverless Argo Workflows
本文对比了Batch批量计算与Serverless Argo Workflows在容器化批处理任务中的应用,分析了两者在任务定义、依赖关系、规模并发、高级编排、可移植性等方面的异同,帮助技术决策者根据自身需求选择合适的平台。
|
9月前
|
人工智能 关系型数据库 MySQL
探索和体验云原生数据库PolarDB MySQL版在AI场景中的应用
探索和体验云原生数据库PolarDB MySQL版在AI场景中的应用
255 0
|
11月前
|
监控 Cloud Native 安全
【阿里云云原生专栏】云原生下的API管理:阿里云API Gateway的应用场景与优势
【5月更文挑战第23天】阿里云API Gateway是高性能的API托管服务,适用于微服务API聚合、安全管理及流量控制。它提供统一入口、多种认证方式和流量控制策略,确保服务稳定性。具备高度可扩展性、丰富插件生态和简化API生命周期管理等特点。通过简单步骤,如创建API、配置后端服务、设置认证和发布,即可快速上手。作为云原生时代的API管理解决方案,阿里云API Gateway助力企业高效、安全地管理API,推动业务创新和数字化转型。
157 1
|
11月前
|
存储 Cloud Native 关系型数据库
PolarDB-X 是面向超高并发、海量存储和复杂查询场景设计的云原生分布式数据库系统
【5月更文挑战第14天】PolarDB-X 是面向超高并发、海量存储和复杂查询场景设计的云原生分布式数据库系统
385 2
|
11月前
|
消息中间件 存储 Cloud Native
深度剖析 RocketMQ 5.0,架构解析:云原生架构如何支撑多元化场景?
了解 RocketMQ 5.0 的核心概念和架构概览;然后我们会从集群角度出发,从宏观视角学习 RocketMQ 的管控链路、数据链路、客户端和服务端如何交互;学习 RocketMQ 如何实现数据的存储,数据的高可用,如何利用云原生存储进一步提升竞争力。
142044 3
|
11月前
|
存储 缓存 Kubernetes
云原生场景下,AIGC 模型服务的工程挑战和应对
本文介绍了在云原生场景下,AIGC 模型服务的工程挑战和Fluid 在云原生 AIGC 模型推理场景的优化。
135967 24
|
11月前
|
弹性计算 运维 Kubernetes
云原生K8S场景自动化响应ECS系统事件
客户云原生K8S场景下,通过社区开源NPD+Draino+Autoscaler零开发,对接响应ECS主动运维事件,通过自动响应事件减少非预期宕机。
下一篇
oss创建bucket