Hadoop集群搭建记录 | 云计算[CentOS7] | 伪分布式集群 各节点之间免密登录

简介: 写在前面step1 安装openssh-serverstep2 .ssh文件夹的创建及生成密钥文件step3 传送该文件step4 slave1&&slave2节点操作step5 所有节点最终配置免密登录成功

写在前面


本系列文章索引以及一些默认好的条件在 传送门

首先在master节点操作!!!


step1 安装openssh-server


在配置ssh免密登录之前,需要在三个节点先安装好openssh-server

yum install openssh-server


step2 .ssh文件夹的创建及生成密钥文件


切换目录到root用户的.ssh目录下:

(如果没有,请先创建:mkdir -p ~/.ssh

cd ~/.ssh


在进入该目录之后用命令生成密钥文件,ssh-keygen -t rsa

再输入命令之后会有三条提示性询问语句,一般直接打回车就好


step3 传送该文件


因为在其他节点也需要生成密钥文件并分发到其他的节点,为了避免命名的重复,所以说要对公钥进行重命名,可以在名字后面加入自己的ip地址最后一个字节

三个节点分别为

master(192.168.164.93

slave1(192.168.164.174

slave2(192.168.164.175

所以说在master节点,我们mv id_rsa.pub id_rsa_93.pub

然后通过scp命令将id_rsa_93.pub文件发送到除了该节点之外的其他所有节点


scp id_rsa_93.pub slave1:~/.ssh/
scp id_rsa_93.pub slave2:~/.ssh/ 


step4 slave1&&slave2节点操作


首先在slave1&&slave2重复使用step1− > ->−>step3

记得在更改文件名时加入自己机器的ip最后一个字节以区分文件

slave1:mv id_rsa.pub id_rsa_174.pub

slave2:mv id_rsa.pub id_rsa_175.pub

记得在传送文件时更改主机名

slave1:


scp id_rsa_174.pub master:~/.ssh/
scp id_rsa_174.pub slave2:~/.ssh/ 


slave2:

scp id_rsa_175.pub master:~/.ssh/
scp id_rsa_175.pub slave1:~/.ssh/ 


step5 所有节点最终配置


在每个节点的~/.ssh目录下,我们将三个文件(id_rsa_175.pub,id_rsa_174.pub,id_rsa_93.pub)加入到authorized_keys文件中

如果上述操作没问题,绝对是在每个节点都会出现三个文件的,如图:


1ab657cde74e48cc9c2a57f9ecea112b.png


cat id_rsa_93.pub >> authorized_keys
cat id_rsa_174.pub >> authorized_keys
cat id_rsa_175.pub >> authorized_keys 


最后在各个节点测试是否能够免密登录其他节点

Master免密登陆其他节点:


99b9e53a80ab4ddfad0dbe5ee8ed28ce.png


免密登录成功

Slave1免密登录其他节点:


754b8073546c4334b28f194f3ac8cf59.png


免密登录成功

Slave2免密登录其他节点:


a63154a753a947fb9e6713d428ebb16c.png


免密登录成功


目录
相关文章
|
9月前
|
分布式计算 Hadoop Java
CentOS中构建高可用Hadoop 3集群
这个过程像是在一个未知的森林中探索。但当你抵达终点,看到那个熟悉的Hadoop管理界面时,所有的艰辛都会化为乌有。仔细观察,尽全力,这就是构建高可用Hadoop 3集群的挑战之旅。
354 21
|
10月前
|
Java Linux
CentOS环境搭建Elasticsearch集群
至此,您已成功在CentOS环境下搭建了Elasticsearch集群。通过以上介绍和步骤,相信您对部署Elasticsearch集群有了充分的了解。最后祝您在使用Elasticsearch集群的过程中顺利开展工作!
544 22
|
分布式计算 Hadoop Java
Hadoop集群搭建,基于3.3.4hadoop和centos8【图文教程-从零开始搭建Hadoop集群】,常见问题解决
本文是一份详细的Hadoop集群搭建指南,基于Hadoop 3.3.4版本和CentOS 8操作系统。文章内容包括虚拟机创建、网络配置、Java与Hadoop环境搭建、克隆虚拟机、SSH免密登录设置、格式化NameNode、启动Hadoop集群以及通过UI界面查看Hadoop运行状态。同时,还提供了常见问题的解决方案。
Hadoop集群搭建,基于3.3.4hadoop和centos8【图文教程-从零开始搭建Hadoop集群】,常见问题解决
|
存储 Kubernetes 负载均衡
CentOS 7.9二进制部署K8S 1.28.3+集群实战
本文详细介绍了在CentOS 7.9上通过二进制方式部署Kubernetes 1.28.3+集群的全过程,包括环境准备、组件安装、证书生成、高可用配置以及网络插件部署等关键步骤。
2455 4
CentOS 7.9二进制部署K8S 1.28.3+集群实战
|
Kubernetes Ubuntu Linux
Centos7 搭建 kubernetes集群
本文介绍了如何搭建一个三节点的Kubernetes集群,包括一个主节点和两个工作节点。各节点运行CentOS 7系统,最低配置为2核CPU、2GB内存和15GB硬盘。详细步骤包括环境配置、安装Docker、关闭防火墙和SELinux、禁用交换分区、安装kubeadm、kubelet、kubectl,以及初始化Kubernetes集群和安装网络插件Calico或Flannel。
1226 4
|
Kubernetes Linux API
CentOS 7.6使用kubeadm部署k8s 1.17.2测试集群实战篇
该博客文章详细介绍了在CentOS 7.6操作系统上使用kubeadm工具部署kubernetes 1.17.2版本的测试集群的过程,包括主机环境准备、安装Docker、配置kubelet、初始化集群、添加节点、部署网络插件以及配置k8s node节点管理api server服务器。
500 0
CentOS 7.6使用kubeadm部署k8s 1.17.2测试集群实战篇
|
分布式计算 资源调度 Hadoop
centos7二进制安装Hadoop3
centos7二进制安装Hadoop3
|
分布式计算 Java Hadoop
centos7编译安装Hadoop3
centos7编译安装Hadoop3
|
存储 分布式计算 算法
探索Hadoop的三种运行模式:单机模式、伪分布式模式和完全分布式模式
在配置Hadoop集群之前,了解这三种模式的特点、适用场景和配置差异是非常重要的。这有助于用户根据个人需求和资源情况,选择最适合自己的Hadoop运行模式。在最初的学习和开发阶段,单机模式和伪分布式模式能为用户提供便利和成本效益。进而,当用户要处理大规模数据集时,完全分布式模式将是理想的选择。
1014 2
|
物联网 应用服务中间件 Linux
CentOS7.9 Nginx+EMQX集群组建MQTTS平台
通过以上步骤,您已成功搭建了一个基于CentOS 7.9、Nginx和EMQX的MQTTS平台。这个平台既能保证数据传输的安全性,又能利用Nginx的负载均衡能力和EMQX的高性能、高并发处理能力,实现稳定高效的消息服务。在部署和配置过程中,务必注意证书、域名以及EMQX配置的正确性,确保系统安全和稳定运行。此外,定期更新软件和系统,以及监控系统性能,也是保证MQTTS平台长期稳定运行的重要环节。
480 4