准备工作
在使用E-HPC集群提交作业前,请确保:
[backcolor=transparent]注意:不推荐使用root帐号进行任何作业提交,避免作业脚本中的误操作导致E-HPC集群数据遭受破坏。
提交作业
相关约定
以下假定作业相关文件路径为:
- [backcolor=transparent]$HOME[backcolor=transparent]/[backcolor=transparent]test[backcolor=transparent].[backcolor=transparent]py [backcolor=transparent]# 作业执行程序
- [backcolor=transparent]$HOME[backcolor=transparent]/[backcolor=transparent]test[backcolor=transparent].[backcolor=transparent]data [backcolor=transparent]# 作业相关数据
作业执行命令行为:
- [backcolor=transparent]test[backcolor=transparent].[backcolor=transparent]py [backcolor=transparent]-[backcolor=transparent]i test[backcolor=transparent].[backcolor=transparent]data
作业调度
E-HPC目前支持两种主流的高性能计算作业调度器:
PBS
- [backcolor=transparent]$ cat [backcolor=transparent]>[backcolor=transparent] test[backcolor=transparent].[backcolor=transparent]pbs
- [backcolor=transparent]#!/bin/sh
- [backcolor=transparent]#PBS -l ncpus=4,mem=1gb
- [backcolor=transparent]#PBS -l walltime=00:10:00
- [backcolor=transparent]#PBS -o test_pbs.log
- [backcolor=transparent]#PBS -j oe
- [backcolor=transparent]cd $HOME
- [backcolor=transparent]test[backcolor=transparent].[backcolor=transparent]py [backcolor=transparent]-[backcolor=transparent]i test[backcolor=transparent].[backcolor=transparent]data
- [backcolor=transparent]$ qsub test[backcolor=transparent].[backcolor=transparent]pbs
PBS作业调度脚本test.pbs解释如下:
- Line3是对作业所需计算资源的预估:需要4个CPU核及1GB内存。
- Line4是对作业运行时间的预估:10分钟。
- Line5是指定stdout输出文件。
- Line6是把stderr和stdout的输出合并到上面指定的输出文件。
- Line7~8为作业具体执行命令。
PBS结合算例的使用示例可参考:
更详细的使用文档可参考PBS官方的PBS User Guide。
SLURM
- [backcolor=transparent]$ cat [backcolor=transparent]>[backcolor=transparent] test[backcolor=transparent].[backcolor=transparent]slurm
- [backcolor=transparent]#!/bin/sh
- [backcolor=transparent]#SBATCH --job-name=slurm-quickstart
- [backcolor=transparent]#SBATCH --output=test_slurm.log
- [backcolor=transparent]#SBATCH --nodes=1
- [backcolor=transparent]#SBATCH --ntasks=1
- [backcolor=transparent]#SBATCH --cpus-per-task=1
- [backcolor=transparent]#SBATCH --time=00:10:00
- [backcolor=transparent]#SBATCH --mem-per-cpu=1024
- [backcolor=transparent]cd $HOME
- [backcolor=transparent]test[backcolor=transparent].[backcolor=transparent]py test[backcolor=transparent].[backcolor=transparent]data
- [backcolor=transparent]$ sbatch test[backcolor=transparent].[backcolor=transparent]slurm
SLURM结合算例的使用示例可参考:
更详细的使用文档可参考SLURM官方说明。