HTCondor下多台Linux计算集群的搭建

简介: HTCondor下多台Linux计算集群的搭建

环境:四台同网段的Linux虚拟机

  • 一台当作Central Manager
  • 一台用来Submit
  • 两台用来Execute


(一)对四台虚拟机分别进行此操作

apt-get update && apt-get install -y curl


(二)对三个角色分别进行如下操作

1)充当Central Manager角色的虚拟机

首先,查找此虚拟机的IP

命令行输入ifconfig -a,红框的即为虚拟机IP

将此IP替换192.168.87.132,输入如下命令

sudo curl -fsSL https://get.htcondor.org | GET_HTCONDOR_PASSWORD=wmcoder /bin/bash -s -- --no-dry-run --central-manager 192.168.87.132
2)充当Submit 角色的虚拟机

192.168.87.132用Central Manager角色虚拟机的IP来替换

sudo curl -fsSL https://get.htcondor.org | GET_HTCONDOR_PASSWORD=wmcoder /bin/bash -s -- --no-dry-run --submit 192.168.87.132
3)充当Execute角色的虚拟机(两台)

192.168.87.132用Central Manager角色虚拟机的IP来替换

sudo curl -fsSL https://get.htcondor.org | GET_HTCONDOR_PASSWORD=wmcoder /bin/bash -s -- --no-dry-run --execute 192.168.87.132


(三)执行condor_status查看

登录到提交计算机上的用户应该能够查看池中的执行计算机(使用condor_status),提交作业(使用condor_submit)以及运行(使用condor_q)。显示的为两台执行角色的虚拟机。

(附)部分bug及解决方案

因未设置密码问题无法使用root权限

如提前安装了htcondor,使用此命令卸载
sh -c "apt-get -y remove --purge htcondor && apt-get -y autoremove --purge && rm -fr /etc/condor"
相关文章
|
9月前
|
Linux
Linux手动更新时间Linux同步集群其他节点时间
Linux手动更新时间Linux同步集群其他节点时间
71 0
|
9月前
|
存储 负载均衡 索引
linux7安装elasticsearch-7.4.0集群配置
linux7安装elasticsearch-7.4.0集群配置
179 0
|
2月前
|
消息中间件 Java Kafka
【手把手教你Linux环境下快速搭建Kafka集群】内含脚本分发教程,实现一键部署多个Kafka节点
本文介绍了Kafka集群的搭建过程,涵盖从虚拟机安装到集群测试的详细步骤。首先规划了集群架构,包括三台Kafka Broker节点,并说明了分布式环境下的服务进程配置。接着,通过VMware导入模板机并克隆出三台虚拟机(kafka-broker1、kafka-broker2、kafka-broker3),分别设置IP地址和主机名。随后,依次安装JDK、ZooKeeper和Kafka,并配置相应的环境变量与启动脚本,确保各组件能正常运行。最后,通过编写启停脚本简化集群的操作流程,并对集群进行测试,验证其功能完整性。整个过程强调了自动化脚本的应用,提高了部署效率。
【手把手教你Linux环境下快速搭建Kafka集群】内含脚本分发教程,实现一键部署多个Kafka节点
|
4月前
|
机器学习/深度学习 人工智能 Ubuntu
|
6月前
|
运维 负载均衡 监控
"Linux高可用集群背后的神秘力量:揭秘心跳机制,如何确保服务永不掉线?"
【8月更文挑战第21天】今天探讨Linux高可用集群中的心跳机制——节点间定期发送信号以确认彼此状态的关键技术。它主要用于故障检测、负载均衡及资源接管。示例代码展示如何使用Corosync+Pacemaker配置心跳,确保服务连续性与可靠性。正确配置心跳机制能够显著提升系统的稳定性。
131 1
|
6月前
|
存储 分布式计算 负载均衡
在Linux中,什么是集群,并且列出常见的集群技术。
在Linux中,什么是集群,并且列出常见的集群技术。
|
6月前
|
负载均衡 监控 算法
在Linux中,如何配置和管理LVS集群?
在Linux中,如何配置和管理LVS集群?
|
6月前
|
存储 运维 监控
在Linux中,心跳机制在Linux高可用集群中作用是什么?
在Linux中,心跳机制在Linux高可用集群中作用是什么?
|
6月前
|
消息中间件 Java Kafka
Linux——Kafka集群搭建
Linux——Kafka集群搭建
82 0
|
8月前
|
Linux 网络安全