云原生批量任务编排引擎Argo Workflows发布3.6,一文解析关键新特性

本文涉及的产品
对象存储 OSS,20GB 3个月
全局流量管理 GTM,标准版 1个月
云解析 DNS,旗舰版 1个月
简介: Argo Workflows是CNCF毕业项目,最受欢迎的云原生工作流引擎,专为Kubernetes上编排批量任务而设计,本文主要对最新发布的Argo Workflows 3.6版本的关键新特性做一个深入的解析。

【阅读原文】戳:云原生批量任务编排引擎Argo Workflows发布3.6,一文解析关键新特性

Argo Workflows是CNCF毕业项目,专为Kubernetes上编排并行Job而设计,本文主要对最新发布的Argo Workflows 3.6版本的关键新特性做一个深入的解析。

 

 

 

 

一、Argo Workflows 简介

 

 

 

Argo Workflows是CNCF毕业项目,专为Kubernetes上编排并行Job而设计,将工作流中的每一个任务实现为一个单独的容器实例单独运行,具有轻量级、易扩展、并行性高等特点。

 

Argo Workflows主要被应用在以下的场景:

 

批处理系统:对于需要定期或按需执行的大规模数据处理任务,如ETL作业、数据分析报告生成等,Argo Workflows 提供了一种声明式的方式来定义和执行这些批处理作业。

 

机器学习工作流:在机器学习项目中,Argo Workflows 可以协调数据预处理、模型训练、验证、调参和部署等步骤,同时利用 Kubernetes 的资源调度能力,高效地分配GPU等资源,支持大规模并行计算需求。

 

基础设施自动化:在管理云原生基础设施时,可用于执行一系列自动化任务,比如创建和配置Kubernetes资源、执行备份恢复操作、监控系统的健康状态等。

 

CI/CD:持续集成和持续部署流程通常包含代码构建、测试、部署等多个阶段。Argo Workflows 能够很好地整合这些步骤,实现自动化流水线,提高软件交付的速度和质量。

 

Argo Workflows Use Cases

 

阿里云容器服务是国内早期使用Argo Workflow 的团队之一。在落地生产过程中,解决了大量性能瓶颈,并且开发了较多功能回馈给社区。在v3.6版本中贡献了多项特性,尤其是在核心控制器的易用性和稳定性上,贡献了超大参数自动Offload、模板调度约束、超大扁平工作流并行解析、OSS文件流式传输、OSS Artifacts垃圾回收、Pod并行清理Retry、动态模板引用等众多特性,提升了工作流引擎的稳定性、易用性和性能。

 

本文将会对Argo Workflows 3.6版本的关键新特性做一个深入的解析。

 

 

 

 

二、新特性解析

 

 

 

1)CronWorkflows:调度策略增强

 

CronWorkflows是Argo Workflows最常用的功能之一,您可以使用该功能在自定义时间节点触发任务调度,在v3.6中,有以下几个增强:

 

多个cron scheduler调度:可以在单个CronWorkflow中集成多个定时调度策略来进行工作流调度。

 

增加停止策略:可以设定策略在特定情况下停止调度,可以避免定时工作流持续失败,导致集群中失败工作流积压。

 

When表达式:在每次调度之前检查表达式是否为true,提供了和cron scheduler更灵活的组合机制。

 

该增强方便了用户对调度策略进行组合,实现各种不同的定时调度策略。

 

使用示例:

 

apiVersion: argoproj.io/v1alpha1
kind: CronWorkflow
metadata:
  name: cron-workflow-example
spec:
  schedules: # 多个调度策略,每3分钟和5分钟执行一次,在第15分钟只执行一次。
  - "*/3 * * * *"
  - "*/5 * * * *"
  concurrencyPolicy: "Allow"
  stopStrategy: # 在Faild的工作流超过10个之后停止该Cron Workflow
    condition: "failed >= 10"
  # 通过表达式限制在两次执行间隔超过3600s
  when: "{{= cronworkflow.lastScheduledTime == nil || (now() - cronworkflow.lastScheduledTime).Seconds() > 3600 }}"
  startingDeadlineSeconds: 0
  workflowSpec:
    entrypoint: whalesay
    templates:
    - name: whalesay
      container:
        image: alpine:3.6
        command: [sh, -c]
        args: ["date; sleep 1"]

 

2)用户界面优化

 

Argo UI是工作流重要的组成部分,用户提交工作流之后,可以通过该界面便捷的观测到工作流的运行状况。在3.6中,增加了工作流详细信息、时间显示、输出Artifacts目录、Markdown语法等,于此同时还可以访问Cron Workflow、Workflow Template的执行历史、实时日志等。

 

The UI shows the directory used for input artifacts

 

这些增强完善了用户界面的可用性、可观测性,方便用户能够更好的观测自己的工作流状况。

 

3)Argo Workflows 控制器:大规模、稳定性、安全性、功能增强

 

控制器是Argo Workflows最核心的组件,其稳定性和高性能至关重要。在v3.6中主要有以下的一些增强:

 

大规模、稳定性、安全性增强:

 

归档工作流使用队列,改善了同时归档大量工作流时的内存管理。

 

并行清理Pod,在Retry超大工作流时非常有用,可以在容忍时间内完成Retry。

 

Pod增加Pod Kubernetes finalizer,避免过早删除导致出现"Pod Delete" Error,便于控制器Reconceil。

 

超大扁平工作流并行解析,可以让大型工作流的解析更快。

 

超大参数自动Offload,可以支持更长的启动参数,这对于大型的科学模拟场景很有帮助。

 

自动设置seccomp profile为RuntimeDefault,提高容器安全性,降低被攻击的风险。

 

这些功能会在控制器启动时默认开启,除此之外,还有一些功能上的增强:

 

a. OSS Artifacts 自动回收

 

可以通过配置artifactGC策略使得工作流在完成或者删除的时候回收工作流在阿里云OSS上中间文件结果,从而节省存储成本。使用示例如下:

 

apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:
  generateName: artifact-gc-
spec:
  entrypoint: main
  artifactGC:
    strategy: OnWorkflowDeletion # the overall strategy, which can be overridden
    podMetadata:
      annotations:
         kubernetes.io/resource-type: eci
  templates:
    - name: main
      container:
        image: argoproj/argosay:v2
        command:
          - sh
          - -c
        args:
          - |
            echo "hello world" > /tmp/on-completion.txt
            echo "hello world" > /tmp/on-deletion.txt
      outputs:
        artifacts:
          - name: on-completion # 该Artifact会在工作流完成时回收
            path: /tmp/on-completion.txt
            oss:
              endpoint: http://oss-cn-zhangjiakou-internal.aliyuncs.com
              bucket: my-argo-workflow
              key: on-completion.txt
              accessKeySecret:
                name: my-argo-workflow-credentials
                key: accessKey
              secretKeySecret:
                name: my-argo-workflow-credentials
                key: secretKey
            artifactGC:
              strategy: OnWorkflowCompletion # overriding the default strategy for this artifact
          - name: on-deletion # 该Artifact会在工作流被删除时回收
            path: /tmp/on-deletion.txt
            oss:
              endpoint: http://oss-cn-zhangjiakou-internal.aliyuncs.com
              bucket: my-argo-workflow
              key: on-deletion.txt
              accessKeySecret:
                name: my-argo-workflow-credentials
                key: accessKey
              secretKeySecret:
                name: my-argo-workflow-credentials
                key: secretKey

 

b. 模板支持调度约束

 

可以在定义模板时增加NodeSelectors和Tolerations,使用示例如下:

 

apiVersion: argoproj.io/v1alpha1
kind: WorkflowTemplate
metadata:
  name: benchmarks
spec:
  entrypoint: main
  serviceAccountName: workflow
  templates:
  - dag:
      tasks:
      - arguments:
          parameters:
          - name: msg
            value: 'hello'
        name: benchmark
        template: benchmark
    name: main
    nodeSelector: # 模版上定义节点选择器,该选择器会传递到Pod上
      pool: workflows
    tolerations:  # 模版上定义容忍,该容忍会传递到Pod上
    - key: pool
      operator: Equal
      value: workflows
  - inputs:
      parameters:
      - name: msg
    name: benchmark
    script:
      command:
      - python
      image: python:latest
      source: |
        print("{{inputs.parameters.msg}}")

 

c. 支持动态模板引用

 

在定义模板引用时,可以直接使用参数,从而极大的优化Yaml编排文件的结构和大小。使用示例如下:

 

apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:
  generateName: hello-world-wf-global-arg-
  namespace: default
spec:
  entrypoint: whalesay
  arguments:
    parameters:
      - name: global-parameter
        value: hello
  templates:
    - name: whalesay
      steps:
        - - name: hello-world
            templateRef: #  Step 中动态模板引用
              name: '{{item.workflow-template}}' # 从循环中读取需要调用的模板工作流
              template: '{{item.template-name}}' # 从循环中读取template名称
            withItems: # 定义循环参数
                - { workflow-template: 'hello-world-template-global-arg', template-name: 'hello-world'}
          - name: hello-world-dag
            template: diamond
    - name: diamond
      dag:
        tasks:
        - name: A
          templateRef: # DAG 中动态模板引用
            name: '{{item.workflow-template}}' # 从循环中读取需要调用的模板工作流
            template: '{{item.template-name}}' # 从循环中读取template名称
          withItems:
              - { workflow-template: 'hello-world-template-global-arg', template-name: 'hello-world'}

 

d. 更新expr库,支持多种函数。

 

可以使用更多的表达式函数,比如列表拼接和字符串合并。使用示例如下:

 

apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:
  generateName: test-expression-
  namespace: argo
spec:
  entrypoint: main
  arguments:
    parameters:
      - name: expr 
        value: "{{= concat(['a', 'b'], ['c', 'd']) | join('\\n') }}" # 使用列表拼接和字符串合并函数
  templates:
    - name: main
      inputs:
        parameters:
          - name: expr
      script:
        image: alpine:3.6
        command: ["sh"]
        source: |
          echo result: '{{ inputs.parameters.expr }}'

 

4)Argo CLI:模板易用性

 

Argo CLI是提交工作流最常用的方式,而模板是我们定义标准流程的方法,方便我们定义各种各样不同的模板,在v3.6对模板的易用性做了以下的一些增强:

 

通过Argo CLI可以直接更新工作流模板,这让我们在模板在更新时更加容易,避免使用Kubectl方法,下边是使用方法:

 

argo cron update FILE1 # 更新定时工作流
argo template update FILE1  # 更新 workflow-template
argo cluster-template update FILE1 # 更新 cluster-workflow-template

 

通过label过滤模板,有助于对模板进行分类管理:

 

argo template list -l app=test # 通过label进行过滤

 

 

 

 

 

三、快速使用Argo Workflows

 

 

 

Argo Workflows作为一款云原生的批量任务编排引擎,是在Kubernetes上编排各类型任务、提高业务自动化水平的必备利器,无论您是企业的架构师、数据科学家、还是Devops工程师,都能使用Argo Workflows提高您的工作效率。

 

阿里云容器服务也提供了全托管的Serverless Argo Workflows:

 

https://help.aliyun.com/zh/ack/distributed-cloud-container-platform-for-kubernetes/user-guide/overview-12

 

 

具有以下几个特点:

 

简单易用:托管核心组件,完全免运维,提供RestAPI和 Python SDK, 集成简单。

 

稳定高性能:控制面优化,支持大规模工作流编排,整体规模可达到4w。

 

产品化支持:众多领域最佳实践,构建高效工作流,用户只需关注业务创新。

 

可以帮助您快速体验提交工作流,欢迎加入钉钉交流群35688562一同交流。

 

 

参考文档:

 

[1]《Argo Workflows 3.6 发布候选者版本》

 

[2] Argo Workflows:

 

https://github.com/argoproj/argo-workflows

 

[3] Serverless Argo Workflows:

 

https://help.aliyun.com/zh/ack/distributed-cloud-container-platform-for-kubernetes/user-guide/overview-12

 

[4] 最佳实践:

 

https://help.aliyun.com/zh/ack/distributed-cloud-container-platform-for-kubernetes/user-guide/best-practices



我们是阿里巴巴云计算和大数据技术幕后的核心技术输出者。

欢迎关注 “阿里云基础设施”同名微信微博知乎

获取关于我们的更多信息~

相关文章
|
9天前
|
机器学习/深度学习 安全 大数据
揭秘!企业级大模型如何安全高效私有化部署?全面解析最佳实践,助你打造智能业务新引擎!
【10月更文挑战第24天】本文详细探讨了企业级大模型私有化部署的最佳实践,涵盖数据隐私与安全、定制化配置、部署流程、性能优化及安全措施。通过私有化部署,企业能够完全控制数据,确保敏感信息的安全,同时根据自身需求进行优化,提升计算性能和处理效率。示例代码展示了如何利用Python和TensorFlow进行文本分类任务的模型训练。
38 6
|
2天前
|
PHP 开发者
PHP 7新特性深度解析及其最佳实践
【10月更文挑战第31天】本文将深入探讨PHP 7带来的革新,从性能提升到语法改进,再到错误处理机制的变革。我们将通过实际代码示例,展示如何高效利用这些新特性来编写更加健壮和高效的PHP应用。无论你是PHP新手还是资深开发者,这篇文章都将为你打开一扇窗,让你看到PHP 7的强大之处。
|
2天前
|
安全 编译器 PHP
PHP 8新特性解析与实践应用####
————探索PHP 8的创新功能及其在现代Web开发中的实际应用
|
7天前
|
监控 Cloud Native 持续交付
云原生技术深度解析:重塑现代应用开发与部署范式####
本文深入探讨了云原生技术的核心概念、关键技术组件及其在现代软件开发中的重要性。通过剖析容器化、微服务架构、持续集成/持续部署(CI/CD)等关键技术,本文旨在揭示云原生技术如何促进应用的敏捷性、可扩展性和高可用性,进而推动企业数字化转型进程。不同于传统摘要仅概述内容要点,本部分将融入具体案例分析,直观展示云原生技术在实际应用中的显著成效与挑战应对策略,为读者提供更加丰富、立体的理解视角。 ####
|
13天前
|
PHP 数据安全/隐私保护 开发者
PHP 7新特性解析与实践
【10月更文挑战第20天】本文将深入浅出地介绍PHP 7的新特性,包括性能提升、语法改进等方面。我们将通过实际代码示例,展示如何利用这些新特性优化现有项目,提高开发效率。无论你是PHP新手还是资深开发者,都能从中获得启发和帮助。
|
14天前
|
人工智能 Cloud Native Java
云原生技术深度解析:从IO优化到AI处理
【10月更文挑战第24天】在当今数字化时代,云计算已经成为企业IT架构的核心。云原生作为云计算的最新演进形态,旨在通过一系列先进的技术和实践,帮助企业构建高效、弹性、可观测的应用系统。本文将从IO优化、key问题解决、多线程意义以及AI处理等多个维度,深入探讨云原生技术的内涵与外延,并结合Java和AI技术给出相应的示例。
63 1
|
4天前
|
前端开发 JavaScript
JavaScript新纪元:ES6+特性深度解析与实战应用
【10月更文挑战第29天】本文深入解析ES6+的核心特性,包括箭头函数、模板字符串、解构赋值、Promise、模块化和类等,结合实战应用,展示如何利用这些新特性编写更加高效和优雅的代码。
14 0
|
14天前
|
运维 Cloud Native 持续交付
云原生技术解析:从IO出发,以阿里云原生为例
【10月更文挑战第24天】随着互联网技术的不断发展,传统的单体应用架构逐渐暴露出扩展性差、迭代速度慢等问题。为了应对这些挑战,云原生技术应运而生。云原生是一种利用云计算的优势,以更灵活、可扩展和可靠的方式构建和部署应用程序的方法。它强调以容器、微服务、自动化和持续交付为核心,旨在提高开发效率、增强系统的灵活性和可维护性。阿里云作为国内领先的云服务商,在云原生领域有着深厚的积累和实践。
45 0
|
5天前
|
弹性计算 Kubernetes Cloud Native
云原生架构下的微服务设计原则与实践####
本文深入探讨了在云原生环境中,微服务架构的设计原则、关键技术及实践案例。通过剖析传统单体架构面临的挑战,引出微服务作为解决方案的优势,并详细阐述了微服务设计的几大核心原则:单一职责、独立部署、弹性伸缩和服务自治。文章还介绍了容器化技术、Kubernetes等云原生工具如何助力微服务的高效实施,并通过一个实际项目案例,展示了从服务拆分到持续集成/持续部署(CI/CD)流程的完整实现路径,为读者提供了宝贵的实践经验和启发。 ####
|
13天前
|
Kubernetes Cloud Native 持续交付
云端新纪元:云原生技术重塑IT架构####
【10月更文挑战第20天】 本文深入探讨了云原生技术的兴起背景、核心理念、关键技术组件以及它如何引领现代IT架构迈向更高效、灵活与可扩展的新阶段。通过剖析Kubernetes、微服务、Docker等核心技术,本文揭示了云原生架构如何优化资源利用、加速应用开发与部署流程,并促进企业数字化转型的深度实践。 ####

热门文章

最新文章

推荐镜像

更多