Hadoop完全分布式集群搭建

简介: 注:本篇为hadoop的自用笔记

1.准备3台虚拟机

2.修改ip和主机名

1)修改ip  sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33  

1).2 顺便把主机映射配置进去

虚拟机映射关系 sudo vim /etc/hosts  

192.168.91.102 hadoop102

192.168.91.103 hadoop103

192.168.91.104 hadoop104

windows本机映射  C:\Windows\System32\drivers\etc\hosts

2)重启网络 systemctl restart network

3)修改主机名 hostnamectl set-hostname hadoop102

4)关闭防火墙 systemctl stop firewalld / systemctl disable firewalld

3.安装jdk java -version 如果是自己的jdk版本,则不需要安装

4.安装hadoop    hadoop version  

5.集群分发脚本的编写

rsync -av ./* guokai@hadoop103:/home/guokai

ff ./a.txt

获取路径 dirname  $1

获取文件名 basename $1

获取用户名 echo $USER

获取当前主机名 hostname  

集群分发脚本

=======================

#!/bin/bash

# 实现自动分发文件

if [ $# == 0 ]

then

       exit

fi

#获取文件名

fname=`basename $1`

#获取文件路径

dname=`cd -P $(dirname $1);pwd`

#获取用户名

user=`echo $USER`

for((i=2;i<5;i++))

do

  echo "=================hadoop10$i==================="

       rsync -av $dname/$fname $user@hadoop10$i:$dname

done

============================

jpsall脚本

=====================

#!/bin/bash

# 实现jpsall查看所有机器的进程

for((i=2;i<5;i++))

do

       echo "================hadoop10$i==============="

       ssh hadoop10$i /opt/module/jdk1.8.0_144/bin/jps

done

=====================

6.机子之间免密登录

1)进入你的ssh目录

cd /home/guokai/.ssh/

2)生成钥匙对

ssh-keygen -t rsa

三次回车

+---[RSA 2048]----+

|.+=+ +o          |

|o=B.X... o       |

|+=.X.*  = .      |

|oo+ B. . o       |

| =oo.E. S        |

|o.*oo. .         |

|.*o. .           |

|+.               |

|o                |

+----[SHA256]-----+

3)发送钥匙(给每台机器都发送钥匙)

ssh-copy-id hadoop102  

ssh-copy-id hadoop103  

ssh-copy-id hadoop104

4)免密登录机器

ssh hadoop102

ssh hadoop103

ssh hadoop104

5)实现所有机器的免密登录

重复234步骤

6)最后检查 jpsall 如果不需要输入密码,则配置成功

7)配置完成之后可能出现问题。但是无法免密登录

1. -rw-------. 1 guokai guokai 1194 10月  9 10:00 authorized_keys

 -rw-------. 1 guokai guokai 1679 10月  9 09:54 id_rsa

 -rw-r--r--. 1 guokai guokai  398 10月  9 09:54 id_rsa.pub

 -rw-r--r--. 1 guokai guokai  558 10月  9 09:39 known_hosts

2. drwx------. 2 guokai guokai   80 10月  9 09:56 .ssh

3. drwx------.  9 guokai guokai  230 10月  9 09:47 guokai

4. 假如还不行==,你叠buff  

[guokai@hadoop102 home]$ ssh hadoop103

Last login: Sat Oct  9 10:00:23 2021 from hadoop104

[guokai@hadoop103 ~]$ ssh hadoop102

Last login: Sat Oct  9 10:00:20 2021 from hadoop104

[guokai@hadoop102 ~]$ cd .ssh/

[guokai@hadoop102 .ssh]$  

直接断开连接,重新连接

相关文章
|
3月前
|
分布式计算 Ubuntu Hadoop
百度搜索:蓝易云【Ubuntu搭建全分布式Hadoop】
请注意,以上只是概述,并不包含详细的步骤和指令。搭建全分布式Hadoop是一个复杂的过程,需要对Hadoop的架构和配置有深入的理解,并熟悉Linux系统管理。建议在搭建全分布式Hadoop之前,先学习相关知识并查阅官方文档和教程,以确保正确搭建和配置Hadoop集群。
27 0
|
14天前
|
分布式计算 Hadoop 大数据
大数据技术与Python:结合Spark和Hadoop进行分布式计算
【4月更文挑战第12天】本文介绍了大数据技术及其4V特性,阐述了Hadoop和Spark在大数据处理中的作用。Hadoop提供分布式文件系统和MapReduce,Spark则为内存计算提供快速处理能力。通过Python结合Spark和Hadoop,可在分布式环境中进行数据处理和分析。文章详细讲解了如何配置Python环境、安装Spark和Hadoop,以及使用Python编写和提交代码到集群进行计算。掌握这些技能有助于应对大数据挑战。
|
2天前
|
存储 分布式计算 Hadoop
基于Hadoop分布式数据库HBase1.0部署及使用
基于Hadoop分布式数据库HBase1.0部署及使用
|
8天前
|
分布式计算 负载均衡 Hadoop
Hadoop集群节点添加
Hadoop集群节点添加
|
12天前
|
分布式计算 资源调度 Hadoop
Hadoop【基础知识 03+04】【Hadoop集群资源管理器yarn】(图片来源于网络)(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
【4月更文挑战第5天】Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】(图片来源于网络)Hadoop【基础知识 04】【HDFS常用shell命令】(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
41 9
|
13天前
|
分布式计算 资源调度 Hadoop
Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】(图片来源于网络)
【4月更文挑战第4天】Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】(图片来源于网络)
23 4
|
16天前
|
存储 分布式计算 Hadoop
【Hadoop】Hadoop的三种集群模式
【4月更文挑战第9天】【Hadoop】Hadoop的三种集群模式
|
17天前
|
分布式计算 Hadoop Java
centos 部署Hadoop-3.0-高性能集群(一)安装
centos 部署Hadoop-3.0-高性能集群(一)安装
17 0
|
1月前
|
分布式计算 资源调度 Hadoop
Hadoop集群基本测试
Hadoop集群基本测试
26 0
|
1月前
|
分布式计算 资源调度 Hadoop
Hadoop分布式
基于Java的分布式计算平台,旨在处理海量数据。【2月更文挑战第19天】
25 2

相关实验场景

更多