解锁工作流自动化的力量:Argo Workflows

简介: 在现代软件开发和数据处理环境中,高效的工作流编排和自动化已成为关键需求。Argo Workflows 是一个领先的 Kubernetes 原生工作流引擎,专为处理复杂工作流而设计。它帮助企业实现自动化、缩短交付周期,并显著提高生产效率。计算巢已提供Argo Workflows 社区版服务。

为什么选择 Argo Workflows?

Argo Workflows 是一个 Kubernetes 原生工作流引擎,帮助企业实现自动化、缩短交付周期,并显著提高生产效率。以下是选择 Argo Workflows 的几个理由:

  • Kubernetes 原生: 完全构建于 Kubernetes 之上,支持公有云和私有云的无缝集成。
  • 扩展性强: 支持大规模并行工作流处理,可自动扩展以满足高负载需求。
  • 可视化界面: 提供直观的 Web UI,方便监控和管理工作流。
  • 易于集成: 能轻松与 CI/CD 工具、数据处理管道和其他 DevOps 工具集成。
  • 开源社区支持: 拥有活跃的开源社区,定期更新和丰富功能。

关键功能

  • 支持 DAG 和步骤模式: 灵活定义工作流。
  • 重试策略: 为失败任务设置重试,确保可靠性。
  • 日志收集和存储: 集成日志管理,方便问题排查。
  • 事件驱动: 支持事件驱动的工作流启动模式。

适用场景

  • 数据处理和 ETL: 自动化数据提取、转换和加载流程。
  • 机器学习模型训练: 自动化训练、评估和部署模型。
  • CI/CD 管道: 高效管理软件交付生命周期。
  • 批处理任务: 管理和调度大规模批处理任务。

计费说明

计算巢 ArgoWorkflows 部署为社区开源版本:Github Repo

  • 如果已有阿里云 ACK 集群,用户无需付费。
  • 新建阿里云 ACK 集群,则需支付 ACK 资源的费用。

部署流程

您可以在阿里云计算巢搜索,或通过以下链接快速部署:部署链接

部署参数说明

  • 已有 ACK 集群:

    create-1.png

    create-2.png

    create-3.png

验证结果

  1. 查看服务实例,创建成功后,部署时间约为10分钟。

    create-4.png

  2. 点击详情查看实例详情,配置 host 内容到域名 A 记录或本机的 host 配置,访问域名即可链接服务。

    success-0.png

高级选项

ACK 场景下使用 ECI+Spot 弹性运行 Worker 节省成本

选择对应的 ACK 集群,运维管理 -> 组件管理 -> 安装 ACK Virtual Node 开启 ECI 弹性能力。

update-0.png

提交 YAML:

metadata:
  name: omniscient-octopus
  namespace: default
  labels:
    example: "true"
spec:
  arguments:
    parameters:
      - name: message
        value: hello argo
  entrypoint: argosay
  podMetadata:
    annotations:
      k8s.aliyun.com/eci-spot-strategy: SpotAsPriceGo
    labels:
      alibabacloud.com/eci: "true"
  templates:
    - name: argosay
      inputs:
        parameters:
          - name: message
            value: "{
   {workflow.parameters.message}}"
      container:
        name: main
        image: argoproj/argosay:v2
        command:
          - /argosay
        args:
          - echo
          - "{
   {inputs.parameters.message}}"
  ttlStrategy:
    secondsAfterCompletion: 300
  podGC:
    strategy: OnPodCompletion

success-2.png
可以看到virtual-kubelet启动的就是eci的pod了

helm包路径

https://github.com/aliyun-computenest/argo-workflows/blob/main/targets/argo-workflows-0.45.1.tgz

修改配置

计算巢支持修改helm配置 进入服务实例->修改配置,输入helm values的配置
update-1.png
具体helm values的配置请参考地址Github Repo

相关实践学习
2048小游戏
基于计算巢&ECS云服务器快速部署,带您畅玩2048小游戏。
相关文章
|
1月前
|
人工智能
LangGraph:构建多代理动态工作流的开源框架,支持人工干预、循环、持久性等复杂工作流自动化
LangGraph 是一个基于图结构的开源框架,专为构建状态化、多代理系统设计,支持循环、持久性和人工干预,适用于复杂的工作流自动化。
119 12
LangGraph:构建多代理动态工作流的开源框架,支持人工干预、循环、持久性等复杂工作流自动化
|
2月前
|
人工智能 监控 数据挖掘
工作流管理趋势:智能化、自动化与无限可能
本文深入探讨了工作流管理的定义、重要性、挑战及优化方法,强调其在提升企业效率、优化资源配置、提高透明度和促进协作等方面的作用。文章还介绍了构建高效工作流管理系统的步骤,包括流程梳理、设定KPIs、选择合适工具等,并分享了成功案例和未来趋势。
|
3月前
|
运维 监控 安全
自动化运维的魔法:打造高效DevOps工作流
在软件交付的快车道上,DevOps如同赛车手,而自动化运维则是那辆高性能赛车。本文将揭示如何通过自动化工具和最佳实践,构建一个高效、可靠的DevOps工作流,确保软件交付过程既快速又安全。我们将一起探索从代码提交到部署的每个关键步骤,并展示如何通过实际案例简化这一旅程。
|
7月前
|
监控 数据挖掘 BI
ERP系统中的工作流管理与自动化
【7月更文挑战第25天】 ERP系统中的工作流管理与自动化
373 2
ERP系统中的工作流管理与自动化
|
9月前
|
存储 分布式计算 监控
使用Airflow管理大数据工作流:自动化任务调度与依赖
【4月更文挑战第8天】Apache Airflow是一款开源的工作流管理工具,用于高效组织和调度大数据任务。它基于DAG(有向无环图)定义任务依赖,通过Operators(如BashOperator、PythonOperator)执行不同工作,并通过Scheduler和Executor协调任务执行。Web UI提供监控界面,Metadata DB存储元数据。创建DAG涉及定义DAG属性、Task及依赖关系,然后部署到Airflow环境。进阶功能包括Variables和Connections管理、XCom跨Task通信、自定义Operator及Plugin、高级调度与告警设置。
667 0
|
人工智能 数据可视化 安全
企业级低代码中“自动化工作流”的5大优势!
简而言之,工作流自动化是使用软件来组织和自动化复杂的业务流程。竞争对手的工作流自动化产品通常使用可视化设计工具,允许用户“拖拉拽”组件,来配置他们的工作流,就像绘制流程图一样。沿着这个绘制的工作流,用户可以放置自动执行各种任务(如记录数据)的节点,以轻松集成组织所有领域的系统、数据和人员。
企业级低代码中“自动化工作流”的5大优势!
|
数据采集 移动开发 JSON
基于NodeJS从零构建线上自动化打包工作流(H5-Dooring特别版)
NodeJS在前端领域正扮演着越越重要的地位,它不仅可以让前端工作者使用javascript编写后端代码,还能方便地搭建响应速度快、易于扩展的网络应用。Node.js 使用事件驱动,**非阻塞I/O **模型而得以轻量和高效,非常适合在分布式设备上运行数据密集型的实时应用。
392 0
|
数据可视化 安全
低代码的自动化工作流靠谱嘛?对企业有何帮助?
自动化是企业提升办公效率的必经之路。从目前来看,在世界发展和办公远程工作还没有成为普及之前,很多企业就已经在尽一切努力,用更现代的数字替代方案来取代手动的、容易出错的流程。
低代码的自动化工作流靠谱嘛?对企业有何帮助?
|
分布式计算 监控 搜索推荐
【Airflow】工作流自动化和调度系统
2014年,Airbnb创造了一套工作流调度系统:Airflow。Airflow是灵活可扩展的工作流自动化和调度系统 。2019年成为Apache的顶级项目。它可以让程序员通过编程实现:编写、调度、监控工作流,主要针对有大量数据进行传递的场景,不适合解决流式任务(如spark streaming和Flink)。
1094 0
【Airflow】工作流自动化和调度系统
|
XML SQL Java
Spring集成使用工作流框架Activiti!事务配置,注解配置以及流程资源自动化部署
本文详尽地说明了如何在Spring项目中集成使用工作流Activiti框架。介绍了在Spring框架的项目中使用工作流Activti框架时事务的配置,表达式的使用,资源的自动化部署,单元测试以及基于注解的配置。通过这篇文章介绍的工作流框架Activiti集成到Spring项目中的使用,可以让我们更加能够熟练的在项目中使用工作流Activti框架。
1092 0
Spring集成使用工作流框架Activiti!事务配置,注解配置以及流程资源自动化部署