高通量计算框架HTCondor(三)——使用命令

简介: 高通量计算框架HTCondor(三)——使用命令

高通量计算框架HTCondor(三)——使用命令

目录

1. 目录

HTCondor环境配置完成后,安装文件目录如下:

其中bin目录里面存放了一系列condor_开头的可执行程序,正是通过这些指令程序来实现分布式计算的。其中有个GUI程序condor_birdwatcher.exe,打开后运行界面如下:

从程序名称可以看出这是个查看器程序,分别显示condor_q与condor_status的输出信息。

execute目录是程序执行目录,当集群运行时,会把程序、数据等发送到该目录中运行。

condor_config是HTCondor的配置文件,也就是上一章配置的环境都保存在这个文件中。一些更加高级的功能,可以通过修改这个配置文件来实现。

2. 进程

HTCondor环境配置完成后,服务项会启动一个condor服务:

默认这个服务是延迟启动的,一旦启动就会运行一系列condor_开头的后台进程:

这些后台进程的具体功能可以参考HTCondor的文档。其中,发送的计算任务程序会进一步封装成condor_exec,在任务机器运行。

3. 命令

HTCondor可以在命令提示符中运行一系列condor_开头的命令(与bin目录中的可执行程序对应),其中最重要的命令有以下几个:

3.1. condor_q

显示的是当前任务队列中任务的运行情况:

此时由于没有提交任务,所以显示为空。

3.2. condor_status

显示的是当前计算机集群中计算资源的情况:

可以看到这里连接了两台机器,DESKTOP-OVH是一台12核的主机,charlee-PC是一台4核的主机,每一个CPU核心都算作一个计算资源。

3.3. conodr_submit

提交任务命令。HTCondor通过一个任务描述文件来提交任务,提交后会返回一个任务ID。具体的命令为:

conodr_submit 任务描述文件路径

第一次提交任务时,一般会有如下提示:

这时可以通过以下命令,并输入本机密码,将证书添加到HTCondor的证书管理中心中即可:

3.4. conodr_rm

通过任务ID,删除特定的任务:

conodr_rm 任务ID

一般来说,通过以上简单的命令,就可以完成初步的分布式计算。

4. 相关

上一篇

目录

下一篇

分类: 分布式计算

标签: 集群计算 , 分布式计算 , HTCondor

相关文章
|
3月前
|
机器学习/深度学习 人工智能 算法
神经形态计算:模拟大脑的计算方式
【10月更文挑战第11天】神经形态计算作为一种新兴的计算范式,正以其独特的优势和广阔的应用前景吸引着越来越多的关注。通过模拟大脑的计算方式,神经形态计算不仅能够提高计算速度和能效,还能在处理复杂任务时展现出更高的智能水平。我们有理由相信,在未来的发展中,神经形态计算将为我们带来更多的惊喜和突破,引领我们进入一个全新的计算时代。
|
1月前
|
存储 机器学习/深度学习 人工智能
【AI系统】微分计算模式
本文深入探讨了自动微分技术,这是AI框架中的核心功能。自动微分分为前向微分和后向微分两种模式,主要通过雅克比矩阵实现。前向模式适用于输出维度大于输入的情况,而后向模式则更适合多参数场景,广泛应用于现代AI框架中。文章还详细解释了这两种模式的工作原理、优缺点及应用场景。
42 2
【AI系统】微分计算模式
|
4月前
|
机器学习/深度学习 测试技术 数据处理
KAN专家混合模型在高性能时间序列预测中的应用:RMoK模型架构探析与Python代码实验
Kolmogorov-Arnold网络(KAN)作为一种多层感知器(MLP)的替代方案,为深度学习领域带来新可能。尽管初期测试显示KAN在时间序列预测中的表现不佳,近期提出的可逆KAN混合模型(RMoK)显著提升了其性能。RMoK结合了Wav-KAN、JacobiKAN和TaylorKAN等多种专家层,通过门控网络动态选择最适合的专家层,从而灵活应对各种时间序列模式。实验结果显示,RMoK在多个数据集上表现出色,尤其是在长期预测任务中。未来研究将进一步探索RMoK在不同领域的应用潜力及其与其他先进技术的结合。
123 4
|
4月前
|
存储
大模型终端部署新趋势:硬件直接支持混合矩阵乘法
【9月更文挑战第13天】Jianyu Wei等人提出的T-MAC(Table Lookup for Low-Bit LLM Deployment on Edge)通过查表方法提升低位宽大语言模型在CPU上的推理效率,解决了现有系统对混合精度矩阵乘法支持不足的问题。T-MAC无需解量化即可直接支持mpGEMM,消除了乘法运算并减少加法运算,提高了计算效率和可扩展性。实验显示,T-MAC在低位宽的Llama和BitNet模型上表现优异,吞吐量提升4倍,能耗降低70%,在资源受限设备如Raspberry Pi 5上也能达到超过成人平均阅读速度的11 tokens/s。
59 4
|
5月前
|
分布式计算 Linux 调度
高通量计算框架HTCondor(二)——环境配置
高通量计算框架HTCondor(二)——环境配置
117 1
|
5月前
|
分布式计算 负载均衡 数据处理
高通量计算框架HTCondor(四)——案例准备
高通量计算框架HTCondor(四)——案例准备
61 0
|
5月前
|
分布式计算 负载均衡 Hadoop
高通量计算框架HTCondor(一)——概述
高通量计算框架HTCondor(一)——概述
129 0
|
5月前
|
分布式计算 Windows
高通量计算框架HTCondor(五)——分布计算
高通量计算框架HTCondor(五)——分布计算
72 0
|
5月前
|
分布式计算 负载均衡 安全
高通量计算框架HTCondor(六)——拾遗
高通量计算框架HTCondor(六)——拾遗
34 0
|
安全 新能源 调度
V2G模式下含分布式能源网优化运行研究(Matlab代码实现)
V2G模式下含分布式能源网优化运行研究(Matlab代码实现)
104 0