1.准备3台虚拟机
2.修改ip和主机名
1)修改ip sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33
1).2 顺便把主机映射配置进去
虚拟机映射关系 sudo vim /etc/hosts
192.168.91.102 hadoop102
192.168.91.103 hadoop103
192.168.91.104 hadoop104
windows本机映射 C:\Windows\System32\drivers\etc\hosts
2)重启网络 systemctl restart network
3)修改主机名 hostnamectl set-hostname hadoop102
4)关闭防火墙 systemctl stop firewalld / systemctl disable firewalld
3.安装jdk java -version 如果是自己的jdk版本,则不需要安装
4.安装hadoop hadoop version
5.集群分发脚本的编写
rsync -av ./* guokai@hadoop103:/home/guokai
ff ./a.txt
获取路径 dirname $1
获取文件名 basename $1
获取用户名 echo $USER
获取当前主机名 hostname
集群分发脚本
=======================
#!/bin/bash
# 实现自动分发文件
if [ $# == 0 ]
then
exit
fi
#获取文件名
fname=`basename $1`
#获取文件路径
dname=`cd -P $(dirname $1);pwd`
#获取用户名
user=`echo $USER`
for((i=2;i<5;i++))
do
echo "=================hadoop10$i==================="
rsync -av $dname/$fname $user@hadoop10$i:$dname
done
============================
jpsall脚本
=====================
#!/bin/bash
# 实现jpsall查看所有机器的进程
for((i=2;i<5;i++))
do
echo "================hadoop10$i==============="
ssh hadoop10$i /opt/module/jdk1.8.0_144/bin/jps
done
=====================
6.机子之间免密登录
1)进入你的ssh目录
cd /home/guokai/.ssh/
2)生成钥匙对
ssh-keygen -t rsa
三次回车
+---[RSA 2048]----+
|.+=+ +o |
|o=B.X... o |
|+=.X.* = . |
|oo+ B. . o |
| =oo.E. S |
|o.*oo. . |
|.*o. . |
|+. |
|o |
+----[SHA256]-----+
3)发送钥匙(给每台机器都发送钥匙)
ssh-copy-id hadoop102
ssh-copy-id hadoop103
ssh-copy-id hadoop104
4)免密登录机器
ssh hadoop102
ssh hadoop103
ssh hadoop104
5)实现所有机器的免密登录
重复234步骤
6)最后检查 jpsall 如果不需要输入密码,则配置成功
7)配置完成之后可能出现问题。但是无法免密登录
1. -rw-------. 1 guokai guokai 1194 10月 9 10:00 authorized_keys
-rw-------. 1 guokai guokai 1679 10月 9 09:54 id_rsa
-rw-r--r--. 1 guokai guokai 398 10月 9 09:54 id_rsa.pub
-rw-r--r--. 1 guokai guokai 558 10月 9 09:39 known_hosts
2. drwx------. 2 guokai guokai 80 10月 9 09:56 .ssh
3. drwx------. 9 guokai guokai 230 10月 9 09:47 guokai
4. 假如还不行==,你叠buff
[guokai@hadoop102 home]$ ssh hadoop103
Last login: Sat Oct 9 10:00:23 2021 from hadoop104
[guokai@hadoop103 ~]$ ssh hadoop102
Last login: Sat Oct 9 10:00:20 2021 from hadoop104
[guokai@hadoop102 ~]$ cd .ssh/
[guokai@hadoop102 .ssh]$
直接断开连接,重新连接