Prometheus监控Argo Workflow云原生工作流的方法

本文涉及的产品
可观测监控 Prometheus 版,每月50GB免费额度
简介: q

业务中当前有多少个端到端工作流实例,它们的状态是什么?在过去的24小时内,有多少个工作流实例未成功完成?为什么未成功完成?完成工作流程实例或工作流程中的特定步骤平均需要多少时间?

针对以上发问,2022年8月9日,CSDN云原生系列在线峰会第15期“Prometheus峰会”上,中海庭运维开发工程师罗凯从企业业务形态及云原生工作流的使用情况入手,分享了Prometheus监控Argo Workflow云原生工作流的方法。

Argo Workflow监控实例
容器化CI + Argo Workflow实现生产的Devops

在引入K8s前,一般使用传统PC工具对数据入库、任务排产及任务派发进行处理,该过程需要人工处理、手动配置,但存在诸多弊端:

PC算力有限,大数据集情况下,人工处理效率低下;

手动配置易出错,难以及时发现问题。

于是,我们引入了K8s,利用Argo Workflow任务编排调度实现数据的自动化处理。

引入K8s后的数据流向图
从传统PC工具转型Web化工具,通过容器沙箱提供生产需要的工具并通过CI/CD集成相应的数据容器组成独立的沙箱工作环境,并在需要与人交互的环节提供Web界面和专用的Web访问地址。

规范化作业信息流、数据流,自动化代替手动环境准备。

操作数据集的提交、流转通过CI/CD自动完成。

Arogo Workflow实现生产数据编译的任务调度

数据编译
首先根据用户的定制化需求制定编译工具链及相应配置,随后在数据上游进行数据拉取、串联,并进行GRB、EFD处理,最终交付给客户。其中,在EFD处理完成后,NDS的配置会根据EFD的数据结果动态生成,整个工作流程十分复杂,手工处理耗时,容易出错。

使用Argo Workflow进行编排后,数据处理流程会变得清晰。通过CI/CD动态提供相应的编译工具单元形成自动化工具链,取代手工部署配置环节提高编译效率,保证数据质量。
————————————————

相关实践学习
容器服务Serverless版ACK Serverless 快速入门:在线魔方应用部署和监控
通过本实验,您将了解到容器服务Serverless版ACK Serverless 的基本产品能力,即可以实现快速部署一个在线魔方应用,并借助阿里云容器服务成熟的产品生态,实现在线应用的企业级监控,提升应用稳定性。
相关文章
|
6月前
|
缓存 Java API
【云原生】Spring Cloud Gateway的底层原理与实践方法探究
【云原生】Spring Cloud Gateway的底层原理与实践方法探究
|
6月前
|
存储 设计模式 Cloud Native
云原生系列Go语言篇-类型、方法和接口 Part 1
通过前面章节的学习,我们知道Go是一种静态类型语言,包含有内置类型和用户定义类型。和大部分现代编程语言一样,Go允许我们对类型关联方法。它也具备类型抽象,可以编写没有显式实现的方法。
87 0
|
6月前
|
Prometheus 监控 前端开发
prometheus|云原生|grafana-9.4.3版本的主题更改
prometheus|云原生|grafana-9.4.3版本的主题更改
389 0
|
20天前
|
Kubernetes Cloud Native 调度
云原生批量任务编排引擎Argo Workflows发布3.6,一文解析关键新特性
Argo Workflows是CNCF毕业项目,最受欢迎的云原生工作流引擎,专为Kubernetes上编排批量任务而设计,本文主要对最新发布的Argo Workflows 3.6版本的关键新特性做一个深入的解析。
|
4月前
|
Prometheus Kubernetes Cloud Native
云原生周刊:Argo Rollouts 支持 Kubernetes Gateway API 1.0 | 2024.7.1
探索开源世界:Kubetools的推荐系统[Krs](https://github.com/kubetoolsca/krs)助力K8s优化,追踪K8s组件清单,指引IAC集成。阅读建议: Prometheus与Thanos的进化故事,Adidas容器平台管理经验,K8s请求实现详解。关注云原生:Argo Rollouts支持Gateway API 1.0,Kubewarden v1.14强化策略与镜像安全。
|
1月前
|
Kubernetes Cloud Native Serverless
批处理系统:Batch批量计算与云原生Serverless Argo Workflows
本文对比了Batch批量计算与Serverless Argo Workflows在容器化批处理任务中的应用,分析了两者在任务定义、依赖关系、规模并发、高级编排、可移植性等方面的异同,帮助技术决策者根据自身需求选择合适的平台。
|
4月前
|
Kubernetes Cloud Native 持续交付
云原生架构的核心组成部分通常包括容器化(如Docker)、容器编排(如Kubernetes)、微服务架构、服务网格、持续集成/持续部署(CI/CD)、自动化运维(如Prometheus监控和Grafana可视化)等。
云原生架构的核心组成部分通常包括容器化(如Docker)、容器编排(如Kubernetes)、微服务架构、服务网格、持续集成/持续部署(CI/CD)、自动化运维(如Prometheus监控和Grafana可视化)等。
|
5月前
|
Kubernetes Cloud Native jenkins
云原生时代:从Jenkins到Argo Workflows,构建高效CI Pipeline
基于Argo Workflows可以构建大规模、高效率、低成本的CI流水线
|
6月前
|
存储 Prometheus 运维
【阿里云云原生专栏】云原生下的可观测性:阿里云 ARMS 与 Prometheus 集成实践
【5月更文挑战第25天】阿里云ARMS与Prometheus集成,为云原生环境的可观测性提供强大解决方案。通过集成,二者能提供全面精准的应用监控,统一管理及高效告警,助力运维人员及时应对异常。集成示例代码展示配置方式,但需注意数据准确性、监控规划等问题。这种集成将在云原生时代发挥关键作用,不断进化以优化用户体验,推动业务稳定发展。
232 0
|
6月前
|
存储 Kubernetes Cloud Native
云原生离线工作流编排利器 -- 分布式工作流 Argo 集群
云原生离线工作流编排利器 -- 分布式工作流 Argo 集群
105243 2