云原生批量任务编排引擎Argo Workflows发布3.6,一文解析关键新特性

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,内容安全 1000次 1年
对象存储 OSS,恶意文件检测 1000次 1年
简介: Argo Workflows是CNCF毕业项目,最受欢迎的云原生工作流引擎,专为Kubernetes上编排批量任务而设计,本文主要对最新发布的Argo Workflows 3.6版本的关键新特性做一个深入的解析。

【阅读原文】戳:云原生批量任务编排引擎Argo Workflows发布3.6,一文解析关键新特性

Argo Workflows是CNCF毕业项目,专为Kubernetes上编排并行Job而设计,本文主要对最新发布的Argo Workflows 3.6版本的关键新特性做一个深入的解析。

 

 

 

 

一、Argo Workflows 简介

 

 

 

Argo Workflows是CNCF毕业项目,专为Kubernetes上编排并行Job而设计,将工作流中的每一个任务实现为一个单独的容器实例单独运行,具有轻量级、易扩展、并行性高等特点。

 

Argo Workflows主要被应用在以下的场景:

 

批处理系统:对于需要定期或按需执行的大规模数据处理任务,如ETL作业、数据分析报告生成等,Argo Workflows 提供了一种声明式的方式来定义和执行这些批处理作业。

 

机器学习工作流:在机器学习项目中,Argo Workflows 可以协调数据预处理、模型训练、验证、调参和部署等步骤,同时利用 Kubernetes 的资源调度能力,高效地分配GPU等资源,支持大规模并行计算需求。

 

基础设施自动化:在管理云原生基础设施时,可用于执行一系列自动化任务,比如创建和配置Kubernetes资源、执行备份恢复操作、监控系统的健康状态等。

 

CI/CD:持续集成和持续部署流程通常包含代码构建、测试、部署等多个阶段。Argo Workflows 能够很好地整合这些步骤,实现自动化流水线,提高软件交付的速度和质量。

 

Argo Workflows Use Cases

 

阿里云容器服务是国内早期使用Argo Workflow 的团队之一。在落地生产过程中,解决了大量性能瓶颈,并且开发了较多功能回馈给社区。在v3.6版本中贡献了多项特性,尤其是在核心控制器的易用性和稳定性上,贡献了超大参数自动Offload、模板调度约束、超大扁平工作流并行解析、OSS文件流式传输、OSS Artifacts垃圾回收、Pod并行清理Retry、动态模板引用等众多特性,提升了工作流引擎的稳定性、易用性和性能。

 

本文将会对Argo Workflows 3.6版本的关键新特性做一个深入的解析。

 

 

 

 

二、新特性解析

 

 

 

1)CronWorkflows:调度策略增强

 

CronWorkflows是Argo Workflows最常用的功能之一,您可以使用该功能在自定义时间节点触发任务调度,在v3.6中,有以下几个增强:

 

多个cron scheduler调度:可以在单个CronWorkflow中集成多个定时调度策略来进行工作流调度。

 

增加停止策略:可以设定策略在特定情况下停止调度,可以避免定时工作流持续失败,导致集群中失败工作流积压。

 

When表达式:在每次调度之前检查表达式是否为true,提供了和cron scheduler更灵活的组合机制。

 

该增强方便了用户对调度策略进行组合,实现各种不同的定时调度策略。

 

使用示例:

 

apiVersion: argoproj.io/v1alpha1
kind: CronWorkflow
metadata:
  name: cron-workflow-example
spec:
  schedules: # 多个调度策略,每3分钟和5分钟执行一次,在第15分钟只执行一次。
  - "*/3 * * * *"
  - "*/5 * * * *"
  concurrencyPolicy: "Allow"
  stopStrategy: # 在Faild的工作流超过10个之后停止该Cron Workflow
    condition: "failed >= 10"
  # 通过表达式限制在两次执行间隔超过3600s
  when: "{{= cronworkflow.lastScheduledTime == nil || (now() - cronworkflow.lastScheduledTime).Seconds() > 3600 }}"
  startingDeadlineSeconds: 0
  workflowSpec:
    entrypoint: whalesay
    templates:
    - name: whalesay
      container:
        image: alpine:3.6
        command: [sh, -c]
        args: ["date; sleep 1"]

 

2)用户界面优化

 

Argo UI是工作流重要的组成部分,用户提交工作流之后,可以通过该界面便捷的观测到工作流的运行状况。在3.6中,增加了工作流详细信息、时间显示、输出Artifacts目录、Markdown语法等,于此同时还可以访问Cron Workflow、Workflow Template的执行历史、实时日志等。

 

The UI shows the directory used for input artifacts

 

这些增强完善了用户界面的可用性、可观测性,方便用户能够更好的观测自己的工作流状况。

 

3)Argo Workflows 控制器:大规模、稳定性、安全性、功能增强

 

控制器是Argo Workflows最核心的组件,其稳定性和高性能至关重要。在v3.6中主要有以下的一些增强:

 

大规模、稳定性、安全性增强:

 

归档工作流使用队列,改善了同时归档大量工作流时的内存管理。

 

并行清理Pod,在Retry超大工作流时非常有用,可以在容忍时间内完成Retry。

 

Pod增加Pod Kubernetes finalizer,避免过早删除导致出现"Pod Delete" Error,便于控制器Reconceil。

 

超大扁平工作流并行解析,可以让大型工作流的解析更快。

 

超大参数自动Offload,可以支持更长的启动参数,这对于大型的科学模拟场景很有帮助。

 

自动设置seccomp profile为RuntimeDefault,提高容器安全性,降低被攻击的风险。

 

这些功能会在控制器启动时默认开启,除此之外,还有一些功能上的增强:

 

a. OSS Artifacts 自动回收

 

可以通过配置artifactGC策略使得工作流在完成或者删除的时候回收工作流在阿里云OSS上中间文件结果,从而节省存储成本。使用示例如下:

 

apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:
  generateName: artifact-gc-
spec:
  entrypoint: main
  artifactGC:
    strategy: OnWorkflowDeletion # the overall strategy, which can be overridden
    podMetadata:
      annotations:
         kubernetes.io/resource-type: eci
  templates:
    - name: main
      container:
        image: argoproj/argosay:v2
        command:
          - sh
          - -c
        args:
          - |
            echo "hello world" > /tmp/on-completion.txt
            echo "hello world" > /tmp/on-deletion.txt
      outputs:
        artifacts:
          - name: on-completion # 该Artifact会在工作流完成时回收
            path: /tmp/on-completion.txt
            oss:
              endpoint: http://oss-cn-zhangjiakou-internal.aliyuncs.com
              bucket: my-argo-workflow
              key: on-completion.txt
              accessKeySecret:
                name: my-argo-workflow-credentials
                key: accessKey
              secretKeySecret:
                name: my-argo-workflow-credentials
                key: secretKey
            artifactGC:
              strategy: OnWorkflowCompletion # overriding the default strategy for this artifact
          - name: on-deletion # 该Artifact会在工作流被删除时回收
            path: /tmp/on-deletion.txt
            oss:
              endpoint: http://oss-cn-zhangjiakou-internal.aliyuncs.com
              bucket: my-argo-workflow
              key: on-deletion.txt
              accessKeySecret:
                name: my-argo-workflow-credentials
                key: accessKey
              secretKeySecret:
                name: my-argo-workflow-credentials
                key: secretKey

 

b. 模板支持调度约束

 

可以在定义模板时增加NodeSelectors和Tolerations,使用示例如下:

 

apiVersion: argoproj.io/v1alpha1
kind: WorkflowTemplate
metadata:
  name: benchmarks
spec:
  entrypoint: main
  serviceAccountName: workflow
  templates:
  - dag:
      tasks:
      - arguments:
          parameters:
          - name: msg
            value: 'hello'
        name: benchmark
        template: benchmark
    name: main
    nodeSelector: # 模版上定义节点选择器,该选择器会传递到Pod上
      pool: workflows
    tolerations:  # 模版上定义容忍,该容忍会传递到Pod上
    - key: pool
      operator: Equal
      value: workflows
  - inputs:
      parameters:
      - name: msg
    name: benchmark
    script:
      command:
      - python
      image: python:latest
      source: |
        print("{{inputs.parameters.msg}}")

 

c. 支持动态模板引用

 

在定义模板引用时,可以直接使用参数,从而极大的优化Yaml编排文件的结构和大小。使用示例如下:

 

apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:
  generateName: hello-world-wf-global-arg-
  namespace: default
spec:
  entrypoint: whalesay
  arguments:
    parameters:
      - name: global-parameter
        value: hello
  templates:
    - name: whalesay
      steps:
        - - name: hello-world
            templateRef: #  Step 中动态模板引用
              name: '{{item.workflow-template}}' # 从循环中读取需要调用的模板工作流
              template: '{{item.template-name}}' # 从循环中读取template名称
            withItems: # 定义循环参数
                - { workflow-template: 'hello-world-template-global-arg', template-name: 'hello-world'}
          - name: hello-world-dag
            template: diamond
    - name: diamond
      dag:
        tasks:
        - name: A
          templateRef: # DAG 中动态模板引用
            name: '{{item.workflow-template}}' # 从循环中读取需要调用的模板工作流
            template: '{{item.template-name}}' # 从循环中读取template名称
          withItems:
              - { workflow-template: 'hello-world-template-global-arg', template-name: 'hello-world'}

 

d. 更新expr库,支持多种函数。

 

可以使用更多的表达式函数,比如列表拼接和字符串合并。使用示例如下:

 

apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:
  generateName: test-expression-
  namespace: argo
spec:
  entrypoint: main
  arguments:
    parameters:
      - name: expr 
        value: "{{= concat(['a', 'b'], ['c', 'd']) | join('\\n') }}" # 使用列表拼接和字符串合并函数
  templates:
    - name: main
      inputs:
        parameters:
          - name: expr
      script:
        image: alpine:3.6
        command: ["sh"]
        source: |
          echo result: '{{ inputs.parameters.expr }}'

 

4)Argo CLI:模板易用性

 

Argo CLI是提交工作流最常用的方式,而模板是我们定义标准流程的方法,方便我们定义各种各样不同的模板,在v3.6对模板的易用性做了以下的一些增强:

 

通过Argo CLI可以直接更新工作流模板,这让我们在模板在更新时更加容易,避免使用Kubectl方法,下边是使用方法:

 

argo cron update FILE1 # 更新定时工作流
argo template update FILE1  # 更新 workflow-template
argo cluster-template update FILE1 # 更新 cluster-workflow-template

 

通过label过滤模板,有助于对模板进行分类管理:

 

argo template list -l app=test # 通过label进行过滤

 

 

 

 

 

三、快速使用Argo Workflows

 

 

 

Argo Workflows作为一款云原生的批量任务编排引擎,是在Kubernetes上编排各类型任务、提高业务自动化水平的必备利器,无论您是企业的架构师、数据科学家、还是Devops工程师,都能使用Argo Workflows提高您的工作效率。

 

阿里云容器服务也提供了全托管的Serverless Argo Workflows:

 

https://help.aliyun.com/zh/ack/distributed-cloud-container-platform-for-kubernetes/user-guide/overview-12

 

 

具有以下几个特点:

 

简单易用:托管核心组件,完全免运维,提供RestAPI和 Python SDK, 集成简单。

 

稳定高性能:控制面优化,支持大规模工作流编排,整体规模可达到4w。

 

产品化支持:众多领域最佳实践,构建高效工作流,用户只需关注业务创新。

 

可以帮助您快速体验提交工作流,欢迎加入钉钉交流群35688562一同交流。

 

 

参考文档:

 

[1]《Argo Workflows 3.6 发布候选者版本》

 

[2] Argo Workflows:

 

https://github.com/argoproj/argo-workflows

 

[3] Serverless Argo Workflows:

 

https://help.aliyun.com/zh/ack/distributed-cloud-container-platform-for-kubernetes/user-guide/overview-12

 

[4] 最佳实践:

 

https://help.aliyun.com/zh/ack/distributed-cloud-container-platform-for-kubernetes/user-guide/best-practices



我们是阿里巴巴云计算和大数据技术幕后的核心技术输出者。

欢迎关注 “阿里云基础设施”同名微信微博知乎

获取关于我们的更多信息~

相关文章
|
29天前
|
编译器 C# 开发者
C# 9.0 新特性解析
C# 9.0 是微软在2020年11月随.NET 5.0发布的重大更新,带来了一系列新特性和改进,如记录类型、初始化器增强、顶级语句、模式匹配增强、目标类型的新表达式、属性模式和空值处理操作符等,旨在提升开发效率和代码可读性。本文将详细介绍这些新特性,并提供代码示例和常见问题解答。
39 7
C# 9.0 新特性解析
|
25天前
|
存储 Cloud Native 块存储
EBS深度解析:云原生时代企业级块存储
企业上云的策略,从 Cloud-Hosting 转向 Serverless 架构。块存储作为企业应用上云的核心存储产品,将通过 Serverless 化来加速新的计算范式全面落地。在本话题中,我们将会介绍阿里云块存储企业级能力的创新,深入解析背后的技术细节,分享对未来趋势的判断。
|
28天前
|
Kubernetes Cloud Native 云计算
云原生技术深度解析:重塑企业IT架构的未来####
本文深入探讨了云原生技术的核心理念、关键技术组件及其对企业IT架构转型的深远影响。通过剖析Kubernetes、微服务、容器化等核心技术,本文揭示了云原生如何提升应用的灵活性、可扩展性和可维护性,助力企业在数字化转型中保持领先地位。 ####
|
28天前
|
C# 开发者
C# 10.0 新特性解析
C# 10.0 在性能、可读性和开发效率方面进行了多项增强。本文介绍了文件范围的命名空间、记录结构体、只读结构体、局部函数的递归优化、改进的模式匹配和 lambda 表达式等新特性,并通过代码示例帮助理解这些特性。
33 2
|
29天前
|
运维 Kubernetes Cloud Native
Kubernetes云原生架构深度解析与实践指南####
本文深入探讨了Kubernetes作为领先的云原生应用编排平台,其设计理念、核心组件及高级特性。通过剖析Kubernetes的工作原理,结合具体案例分析,为读者呈现如何在实际项目中高效部署、管理和扩展容器化应用的策略与技巧。文章还涵盖了服务发现、负载均衡、配置管理、自动化伸缩等关键议题,旨在帮助开发者和运维人员掌握利用Kubernetes构建健壮、可伸缩的云原生生态系统的能力。 ####
|
1月前
|
PHP 开发者
PHP 7新特性深度解析及其最佳实践
【10月更文挑战第31天】本文将深入探讨PHP 7带来的革新,从性能提升到语法改进,再到错误处理机制的变革。我们将通过实际代码示例,展示如何高效利用这些新特性来编写更加健壮和高效的PHP应用。无论你是PHP新手还是资深开发者,这篇文章都将为你打开一扇窗,让你看到PHP 7的强大之处。
|
1月前
|
安全 编译器 PHP
PHP 8新特性解析与实践应用####
————探索PHP 8的创新功能及其在现代Web开发中的实际应用
|
1月前
|
前端开发 JavaScript
JavaScript新纪元:ES6+特性深度解析与实战应用
【10月更文挑战第29天】本文深入解析ES6+的核心特性,包括箭头函数、模板字符串、解构赋值、Promise、模块化和类等,结合实战应用,展示如何利用这些新特性编写更加高效和优雅的代码。
43 0
|
5天前
|
Kubernetes Cloud Native 微服务
探索云原生技术:容器化与微服务架构的融合之旅
本文将带领读者深入了解云原生技术的核心概念,特别是容器化和微服务架构如何相辅相成,共同构建现代软件系统。我们将通过实际代码示例,探讨如何在云平台上部署和管理微服务,以及如何使用容器编排工具来自动化这一过程。文章旨在为开发者和技术决策者提供实用的指导,帮助他们在云原生时代中更好地设计、部署和维护应用。
|
23天前
|
Cloud Native 安全 数据安全/隐私保护
云原生架构下的微服务治理与挑战####
随着云计算技术的飞速发展,云原生架构以其高效、灵活、可扩展的特性成为现代企业IT架构的首选。本文聚焦于云原生环境下的微服务治理问题,探讨其在促进业务敏捷性的同时所面临的挑战及应对策略。通过分析微服务拆分、服务间通信、故障隔离与恢复等关键环节,本文旨在为读者提供一个关于如何在云原生环境中有效实施微服务治理的全面视角,助力企业在数字化转型的道路上稳健前行。 ####

推荐镜像

更多