开发者社区> 问答> 正文

作业提交


准备工作
在使用E-HPC集群提交作业前,请确保:


[backcolor=transparent]注意:不推荐使用root帐号进行任何作业提交,避免作业脚本中的误操作导致E-HPC集群数据遭受破坏。
提交作业
相关约定
以下假定作业相关文件路径为:
  1. [backcolor=transparent]$HOME[backcolor=transparent]/[backcolor=transparent]test[backcolor=transparent].[backcolor=transparent]py           [backcolor=transparent]# 作业执行程序
  2. [backcolor=transparent]$HOME[backcolor=transparent]/[backcolor=transparent]test[backcolor=transparent].[backcolor=transparent]data         [backcolor=transparent]# 作业相关数据

作业执行命令行为:
  1. [backcolor=transparent]test[backcolor=transparent].[backcolor=transparent]py [backcolor=transparent]-[backcolor=transparent]i test[backcolor=transparent].[backcolor=transparent]data

作业调度
E-HPC目前支持两种主流的高性能计算作业调度器:
  • PBS pro
  • SLURM


PBS

  1. [backcolor=transparent]$ cat [backcolor=transparent]>[backcolor=transparent] test[backcolor=transparent].[backcolor=transparent]pbs
  2. [backcolor=transparent]#!/bin/sh
  3. [backcolor=transparent]#PBS -l ncpus=4,mem=1gb
  4. [backcolor=transparent]#PBS -l walltime=00:10:00
  5. [backcolor=transparent]#PBS -o test_pbs.log
  6. [backcolor=transparent]#PBS -j oe
  7. [backcolor=transparent]cd $HOME
  8. [backcolor=transparent]test[backcolor=transparent].[backcolor=transparent]py [backcolor=transparent]-[backcolor=transparent]i test[backcolor=transparent].[backcolor=transparent]data
  9. [backcolor=transparent]$ qsub test[backcolor=transparent].[backcolor=transparent]pbs

PBS作业调度脚本test.pbs解释如下:
  • Line3是对作业所需计算资源的预估:需要4个CPU核及1GB内存。
  • Line4是对作业运行时间的预估:10分钟。
  • Line5是指定stdout输出文件。
  • Line6是把stderr和stdout的输出合并到上面指定的输出文件。
  • Line7~8为作业具体执行命令。

PBS结合算例的使用示例可参考:
更详细的使用文档可参考PBS官方的PBS User Guide。

SLURM

  1. [backcolor=transparent]$ cat [backcolor=transparent]>[backcolor=transparent] test[backcolor=transparent].[backcolor=transparent]slurm
  2. [backcolor=transparent]#!/bin/sh
  3. [backcolor=transparent]#SBATCH --job-name=slurm-quickstart
  4. [backcolor=transparent]#SBATCH --output=test_slurm.log
  5. [backcolor=transparent]#SBATCH --nodes=1
  6. [backcolor=transparent]#SBATCH --ntasks=1
  7. [backcolor=transparent]#SBATCH --cpus-per-task=1
  8. [backcolor=transparent]#SBATCH --time=00:10:00
  9. [backcolor=transparent]#SBATCH --mem-per-cpu=1024
  10. [backcolor=transparent]cd $HOME
  11. [backcolor=transparent]test[backcolor=transparent].[backcolor=transparent]py test[backcolor=transparent].[backcolor=transparent]data
  12. [backcolor=transparent]$ sbatch test[backcolor=transparent].[backcolor=transparent]slurm

SLURM结合算例的使用示例可参考:
更详细的使用文档可参考SLURM官方说明。

展开
收起
反向一觉 2017-10-26 13:49:28 2075 0
0 条回答
写回答
取消 提交回答
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载