工作流在Kubernetes集群中的实践-阿里云开发者社区

开发者社区> 新燕刀> 正文

工作流在Kubernetes集群中的实践

简介: 本文主要介绍如何在ACK上基于工作流引擎进行大规模基因测序工作。阿里云工作流引擎基于开源项目Argo实现,支持并发、循环、重试等多种执行策略。
+关注继续查看

实验步骤:

依赖配置:
  1. 创建集群
  2. 安装AGS插件;
  3. 配置argo-ui;
  4. 创建NAS共享存储卷

实验:
  任务解析;
  试验一:单任务执行;
  试验二:多任务执行;

1. 创建集群:

拿到集群测试域名;c84e9207b8f6b49968cb5570aff4e6581.cn-beijing.alicontainer.com

1-1.png

2. 安装AGS插件;

1-2.png

3. 配置argo-ui:

1-3.png

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: workflow-ingress
  namespace: argo
spec:
  rules:
  - host: workflow.c84e9207b8f6b49968cb5570aff4e6581.cn-beijing.alicontainer.com
    http:
      paths:
      - path: /
        backend:
          serviceName: argo-ui
          servicePort: 80

通过界面登陆argo-ui: workflow.c84e9207b8f6b49968cb5570aff4e6581.cn-beijing.alicontainer.com

4. 创建NAS卷

登陆NAS控制台:
1-4.png
创建NAS盘后,添加挂载点:
1-5.png
获取挂载点地址:
1-6.png

Mapping步骤介绍:

1-7.png

数据准备:

wget reference;
        wget fastq1;
        wget fastq2;
        gzip -d subset_assembly.fa.gz;
        gunzip -c SRR1976948_1.fastq.gz | head -800000 > SRR1976948.1;
        gunzip -c SRR1976948_2.fastq.gz | head -800000 > SRR1976948.2;
        bwa index subset_assembly.fa;

比对到参考序列sai:

bwa aln subset_assembly.fa SRR1976948.1 > SRR1976948_1.untrimmed.sai;
        bwa aln subset_assembly.fa SRR1976948.2 > SRR1976948_2.untrimmed.sai;

生成sam、bam文件:

bwa sampe subset_assembly.fa SRR1976948_1.untrimmed.sai SRR1976948_2.untrimmed.sai SRR1976948.1 SRR1976948.2 > SRR1976948.untrimmed.sam;
        samtools import subset_assembly.fa SRR1976948.untrimmed.sam SRR1976948.untrimmed.sam.bam;
        samtools sort SRR1976948.untrimmed.sam.bam -o SRR1976948.untrimmed.sam.bam.sorted.bam;
        samtools index SRR1976948.untrimmed.sam.bam.sorted.bam;

5. 试验一:

不使用共享存储,通过单一pod实现,挂载主机目录,运行完成可以从日志查看结果;
1-8.png
到Argo-UI上看运行拓扑图:
1-9.png

5. 试验二:

使用多个任务完成,并使用共享nas存储,运行完成可以从日志查看结果;
1-10.png
到Argo-UI界面查看:
1-11.png

本文作者:阚俊宝

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
4116 0
一文带你彻底厘清 Kubernetes 中的证书工作机制
云栖号资讯:【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 接触 Kubernetes 以来,我经常看到 Kubernetes 在不同的地方使用了证书(Certificate),在 Kubernetes 安装和组件启动参数中也需要配置大量证书相关的参数。
741 0
Nvidia GPU如何在Kubernetes 里工作
# Nvidia GPU如何在Kubernetes 里工作 本文介绍Nvidia GPU设备如何在Kubernetes中管理调度。 整个工作流程分为以下两个方面: * 如何在容器中使用GPU * Kubernetes 如何调度GPU ### 如何在容器中使用GPU 想要在容器中的应用可以操作GPU, 需要实两个目标 1.
2058 0
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
4560 0
.NET Core实战项目之CMS 第十五章 各层联动工作实现增删改查业务
连着两天更新叙述性的文章大家可别以为我转行了!哈哈!今天就继续讲讲我们的.NET Core实战项目之CMS系统的教程吧!这个系列教程拖得太久了,所以今天我就以菜单部分的增删改查为例来讲述下我的项目分层之间的协同工作吧!如果你觉得文中有任何不妥的地方还请留言或者加入DotNetCore实战千人交流群637326624跟大伙进行交流讨论吧! 本文已收录至《.
1861 0
图文解析:Serverless 工作流的创建流程
本示例创建了一个简单流程,该流程包含一个传递步骤。
555 0
从图森未来的数据处理平台,看Serverless 工作流应用场景
阿里云Serverless工作流正式商业化,这是一款用于协调多个分布式任务执行的全托管 Serverless 云服务。产品致力于简化开发和运行业务流程所需要的任务协调、状态管理以及错误处理等繁琐工作,让用户聚焦业务逻辑开发。 # 精准打造云上自动生产线,Serverless工作流正式商用
1198 0
从图森未来的数据处理平台,看Serverless 工作流应用场景
阿里云Serverless工作流正式商业化,这是一款用于协调多个分布式任务执行的全托管 Serverless 云服务。产品致力于简化开发和运行业务流程所需要的任务协调、状态管理以及错误处理等繁琐工作,让用户聚焦业务逻辑开发。
358 0
+关注
14
文章
0
问答
来源圈子
更多
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载