Argo项目入驻CNCF，一文解析Kubernetes原生工作流
近期CNCF宣布欢迎Argo项目进入 CNCF 孵化器，作为一个新加入的项目，Argo主要关注于Kubernetes原生的工作流，持续部署等方面。
Argo项目是一组Kubernetes原生工具集合，用于运行和管理Kubernetes上的作业和应用程序。阿里云容器服务是国内早期使用argo workflow的团队之一。在落地生产过程中，解决了大量性能瓶颈，并且开发了较多功能回馈给社区，团队成员也是Argo 项目Maintainer 之一。
面向K8s的工作流， Argo 项目介绍
DAG (Directed acyclic graph，有向无环图)是一个典型计算机图论问题，可以用来模拟有相互依赖关系的数据处理任务，比如音视频转码，机器学习数据流，大数据分析等。
Argo 最早是通过workflow 在社区闻名。Argo Workflow 的项目名称就是Argo(https://github.com/argoproj/argo)， 是Argo 组织最初的项目。Argo Workflow 专注于Kubernetes Native Workflow 设计，拥有声明式工作流机制，能够通过 CRD 的模式完全兼容Kubernetes 集群，每个任务通过Pod的形式运行，Workflow 提供DAG等依赖拓扑，并且能够通过Workflow Template CRD实现多个Workflow 之间的组合与拼接。
上图就是一个典型的 DAG 结构，Argo Workflow 可以根据用户提交的编排模板，很容易的构建出一个有相互依赖关系的工作流。Argo Workflow 就可以处理这些依赖关系，并且按照用户设定的顺序依次运行。
Argo CD 是另一个最近比较知名的项目。 Argo CD主要面向Gitops流程，解决了通过Git一键部署到Kubernetes的需求，并且能够根据版本标识快速跟踪，回滚。Argo CD还提供了多集群部署功能，能够打通多个集群之间同一应用部署问题。
Argo Event 提供基于事件依赖关系的声明式管理，以及基于各种事件源的Kubernetes资源触发器。 Argo Events的常见用法是触发Argo工作流并为使用Argo CD部署的长期服务生成事件。
Argo Rollout 是为了解决多种部署形式而诞生的项目。Argo Rollout 能实现多种灰度发布方式，同时结合Ingress, Service Mesh 等方式完成流量管理与灰度测试。
Argo 各个子项目既可以单独使用，也可以结合使用。一般而言，结合使用多个子项目能够发挥Argo更大的能力，并且实现更多的功能。
使用Argo中遇到的问题与解决方法
阿里云最早落地的是Argo Workflow，在使用Argo Workflow 时第一个问题就是权限管理。Argo Workflow 每一个具体的任务都是通过Pod来执行，同时有一个sidecar 容器来监听主任务的进行。这里的sidecar监听方式是通过mount docker.sock 来实现，这就绕过了Kubernetes APIServer RBAC机制，无法实现对于用户权限的精确控制。我们与社区一起合作开发，实现了Argo Kubernetes APIServer Native Executor 功能，sidecar能够通过service account 监听APIServer 来获取到主容器的动态与信息，实现了Kubernetes RBAC的支持与权限收敛。
Argo Workflow 在 DAG 解析过程中，每一步都会根据Workflow label 来扫描所有的Pod 状态，以此来决定是否需要进行下一步的动作。但是每一次扫描都是串行执行，当集群中Workflow 较多的时候，就会出现扫描速度缓慢，工作流的任务长时间等待的现象。基于此我们开发了并行扫描功能，将所有的扫描动作使用goroutine 并行化，极大的加速了工作流执行效率。将原有需要20 小时运行的任务，降低到4 小时完成。此功能已经回馈给社区，并且在Argo Workflow v2.4版本发布。
在实际生产中，Argo Workflow 执行的步数越多，占用的空间越多。所有的执行步骤均记录在CRD Status 字段里面。当任务数量超过 1000 步的时候，就会出现单个对象过大，无法存储进入ETCD，或者会因为流量过大，拖垮APIServer。我们与社区合作开发了状态压缩技术，能够将Status进行字符串压缩。压缩后的Status字段大小仅为原来大小的 20 分之一，实现了5000步以上的大型工作流运行。
阿里云在基因数据处理场景落地
AGS主要应用于基因组测序二级分析，通过AGS加速API只需要15分钟即可完成一个30X WGS的基因比对、排序、去重、变异检测全流程，相比经典流程可加速120倍，比目前全球最快的FPGA／GPU方案仍能提速2-4倍。
通过分析个体基因序列的突变机制，可为遗传病检测、肿瘤筛查等提供有力支撑，未来将在临床医学和基因诊断方面发挥巨大作用。人类全基因组有约30亿个碱基对，一个30X的WGS测序数据量大约在100GB。AGS在计算速度、精准度、成本、易用性、与上游测序仪的整合度上具有极大优势，同时适用于DNA的SNP／INDEL以及CNV结构变异检测，以及DNA/RNA病毒检测等场景。
AGS工作流是基于argo实现的，为Kubernetes提供容器化的本地工作流程。工作流程中的每个步骤都定义为容器。
工作流引擎是作为 Kubernetes CRD（自定义资源定义）实现的。 因此，可以使用kubectl管理工作流，并与其他Kubernetes 服务本地集成，例如Volumes、Secrets 和 RBAC。 工作流控制器提供完整的工作流程功能，包括参数替换，存储，循环和递归工作流程。
阿里云在基因计算场景下使用Argo Workflow 在Kubernetes集群上运行数据处理分析业务，能够支持超过 5000 步以上的大型工作流，且能够比传统数据处理方式加速百倍。通过定制化的Workflow引擎，极大的便捷了基因数据处理的效率。
