Hadoop完全分布式集群搭建

简介: 注:本篇为hadoop的自用笔记

1.准备3台虚拟机

2.修改ip和主机名

1)修改ip  sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33  

1).2 顺便把主机映射配置进去

虚拟机映射关系 sudo vim /etc/hosts  

192.168.91.102 hadoop102

192.168.91.103 hadoop103

192.168.91.104 hadoop104

windows本机映射  C:\Windows\System32\drivers\etc\hosts

2)重启网络 systemctl restart network

3)修改主机名 hostnamectl set-hostname hadoop102

4)关闭防火墙 systemctl stop firewalld / systemctl disable firewalld

3.安装jdk java -version 如果是自己的jdk版本,则不需要安装

4.安装hadoop    hadoop version  

5.集群分发脚本的编写

rsync -av ./* guokai@hadoop103:/home/guokai

ff ./a.txt

获取路径 dirname  $1

获取文件名 basename $1

获取用户名 echo $USER

获取当前主机名 hostname  

集群分发脚本

=======================

#!/bin/bash

# 实现自动分发文件

if [ $# == 0 ]

then

       exit

fi

#获取文件名

fname=`basename $1`

#获取文件路径

dname=`cd -P $(dirname $1);pwd`

#获取用户名

user=`echo $USER`

for((i=2;i<5;i++))

do

  echo "=================hadoop10$i==================="

       rsync -av $dname/$fname $user@hadoop10$i:$dname

done

============================

jpsall脚本

=====================

#!/bin/bash

# 实现jpsall查看所有机器的进程

for((i=2;i<5;i++))

do

       echo "================hadoop10$i==============="

       ssh hadoop10$i /opt/module/jdk1.8.0_144/bin/jps

done

=====================

6.机子之间免密登录

1)进入你的ssh目录

cd /home/guokai/.ssh/

2)生成钥匙对

ssh-keygen -t rsa

三次回车

+---[RSA 2048]----+

|.+=+ +o          |

|o=B.X... o       |

|+=.X.*  = .      |

|oo+ B. . o       |

| =oo.E. S        |

|o.*oo. .         |

|.*o. .           |

|+.               |

|o                |

+----[SHA256]-----+

3)发送钥匙(给每台机器都发送钥匙)

ssh-copy-id hadoop102  

ssh-copy-id hadoop103  

ssh-copy-id hadoop104

4)免密登录机器

ssh hadoop102

ssh hadoop103

ssh hadoop104

5)实现所有机器的免密登录

重复234步骤

6)最后检查 jpsall 如果不需要输入密码,则配置成功

7)配置完成之后可能出现问题。但是无法免密登录

1. -rw-------. 1 guokai guokai 1194 10月  9 10:00 authorized_keys

 -rw-------. 1 guokai guokai 1679 10月  9 09:54 id_rsa

 -rw-r--r--. 1 guokai guokai  398 10月  9 09:54 id_rsa.pub

 -rw-r--r--. 1 guokai guokai  558 10月  9 09:39 known_hosts

2. drwx------. 2 guokai guokai   80 10月  9 09:56 .ssh

3. drwx------.  9 guokai guokai  230 10月  9 09:47 guokai

4. 假如还不行==,你叠buff  

[guokai@hadoop102 home]$ ssh hadoop103

Last login: Sat Oct  9 10:00:23 2021 from hadoop104

[guokai@hadoop103 ~]$ ssh hadoop102

Last login: Sat Oct  9 10:00:20 2021 from hadoop104

[guokai@hadoop102 ~]$ cd .ssh/

[guokai@hadoop102 .ssh]$  

直接断开连接,重新连接

相关文章
|
3月前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
201 6
|
10天前
|
存储 SpringCloudAlibaba Java
【SpringCloud Alibaba系列】一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论
一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论。
【SpringCloud Alibaba系列】一文全面解析Zookeeper安装、常用命令、JavaAPI操作、Watch事件监听、分布式锁、集群搭建、核心理论
|
2月前
|
存储 分布式计算 负载均衡
分布式计算模型和集群计算模型的区别
【10月更文挑战第18天】分布式计算模型和集群计算模型各有特点和优势,在实际应用中需要根据具体的需求和条件选择合适的计算架构模式,以达到最佳的计算效果和性能。
80 2
|
3月前
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
92 4
|
3月前
|
SQL 分布式计算 Hadoop
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
43 3
|
3月前
|
分布式计算 Hadoop Shell
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
65 3
|
3月前
|
分布式计算 NoSQL Java
Hadoop-32 ZooKeeper 分布式锁问题 分布式锁Java实现 附带案例和实现思路代码
Hadoop-32 ZooKeeper 分布式锁问题 分布式锁Java实现 附带案例和实现思路代码
61 2
|
3月前
|
分布式计算 Java Hadoop
Hadoop-30 ZooKeeper集群 JavaAPI 客户端 POM Java操作ZK 监听节点 监听数据变化 创建节点 删除节点
Hadoop-30 ZooKeeper集群 JavaAPI 客户端 POM Java操作ZK 监听节点 监听数据变化 创建节点 删除节点
76 1
|
3月前
|
分布式计算 监控 Hadoop
Hadoop-29 ZooKeeper集群 Watcher机制 工作原理 与 ZK基本命令 测试集群效果 3台公网云服务器
Hadoop-29 ZooKeeper集群 Watcher机制 工作原理 与 ZK基本命令 测试集群效果 3台公网云服务器
52 1
|
3月前
|
分布式计算 Hadoop Unix
Hadoop-28 ZooKeeper集群 ZNode简介概念和测试 数据结构与监听机制 持久性节点 持久顺序节点 事务ID Watcher机制
Hadoop-28 ZooKeeper集群 ZNode简介概念和测试 数据结构与监听机制 持久性节点 持久顺序节点 事务ID Watcher机制
55 1