搭建hadoop集群前期准备

简介: hadoop集群搭建前期准备

一、搭建六台虚拟机

六台虚拟机一台作为主节点,4台作为从节点,一台作为客户机

二、配置网络

1. 打开VMware菜单栏的编辑选项卡,打开虚拟网络编辑器 3fa0345c152451c02fdacfa5cdf71bea7829f00d 2.查看VMnet8的信息,网络类型选择NET模式,查看子网IP(测试机):192.168.120. DHCP选择框全部选中 79e5c6b39070fc8b93c88699b4c2ebe77a04e8cb 3.配置/etc/sysconfig/network-scripts/ifcfg-ens33 配置文件编写如下(以master节点为例):
TYPE="Ethernet"
BOOTPROTO="static"
DEFROUTE="yes"
PEERDNS="yes"
PEERROUTES="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_PEERDNS="yes"
IPV6_PEERROUTES="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="0ba00b10-d901-4920-903e-7556378a58c0"
DEVICE="ens33"
ONBOOT="yes"
GATEWAY="192.168.120.2"
IPADDR="192.168.120.28"
NETMSAK="255.255.255.0"
DNS1="192.168.120.2"
0ea499e735d82ba40c3a6a4d1c24777bcd665ece
4.保存文件,重启网卡,systemctl resatrt network.service。尝试ping通集群和外网。
970551e7e79d3ccba37c84fc325dca1ef16e40e9 5.其他节点同理

三、配置ssh互信

1.设置用户文件,打开/etc/hosts。加入集群的ip地址和主机名(起的名字,和hostname不一定一样) c650eb478670c648c810f5f72b39d6b592f28a9c 保存退出 2.建立循环变量a.txt,用for循环讲hosts文件拷贝到集群其他机器上。 for x in `cat ~/a.txt`; do echo $x;scp /etc/hosts $x:/etc/hosts;done; 注:普及一下scp命令。例如:scp -r /root/tools/hadoop-2.7.4.tar.gz root@slave2:/root/tools/。-r 表示递归调用,拷贝目录以及子目录。后面接上需要拷贝的目录。在后面是传出机器的用户名。@主机名。传出目录。 3.获取master的密钥 ssh-keygen 设置免密登陆,即密码为空,直接回车即可。 4.将master获取的公钥传给从节点 ssh-copy-id slave1(设备名) 5.用ssh 设备名 检测是否可以ssh远程登陆

四、关闭防火墙

1、关闭防火墙(重启后恢复):systemctl stop firewalld.service 2、禁止防火墙开机启动:systemctl disable firewalld.service

五、关闭selinux

1、临时关闭(不用重启):setenforce 0 2、永久关闭(需要重启生效):编辑/etc/selinux/config文件 将SELINUX=enforcing改为SELINUX=disabled 474748e99706dbf102b867194683be23e03829ce 3、查看selinux状态: [root@master ~]# getenforce Permissive 4、修改所有节点的selinux

六、修改主机名

1、查看主机名:hostname 2、更改主机名:hostnamectl set-hostname 主机名

七、安装jdk

1、查看当前的openjdk信息:rpm -qa|grep openjdk 2、删除所有openjdk:rpm -e --nodeps XXX 3、下载rpm包(也可用for循环统一拷贝) 4、安装jdk:rpm -ivh jdk-8u101-linux-x64.rpm 5、查看jdk路径(默认路径在/usr/java中):find / -name java* 6、配置环境变量(按照自己的jdk版本配置):vim /etc/profile JAVA_HOME=/usr/java/jdk1.8.0_101/ export JRE_HOME=/usr/java/jdk1.8.0_101//jre export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib 7、查看jdk是否安装成功,版本一致则安装成功:java -version 8、从节点同理配置

八、重启机器

ps:第一次写博客,有点小激动,如有错误,还请多多指正QAQ
目录
相关文章
|
4天前
|
分布式计算 资源调度 Hadoop
Hadoop【基础知识 03+04】【Hadoop集群资源管理器yarn】(图片来源于网络)(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
【4月更文挑战第5天】Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】(图片来源于网络)Hadoop【基础知识 04】【HDFS常用shell命令】(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
29 9
|
6天前
|
分布式计算 资源调度 Hadoop
Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】(图片来源于网络)
【4月更文挑战第4天】Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】(图片来源于网络)
19 4
|
8天前
|
存储 分布式计算 Hadoop
【Hadoop】Hadoop的三种集群模式
【4月更文挑战第9天】【Hadoop】Hadoop的三种集群模式
|
27天前
|
分布式计算 资源调度 Hadoop
Hadoop集群基本测试
Hadoop集群基本测试
22 0
|
3月前
|
分布式计算 Hadoop Java
linux上面hadoop配置集群
linux上面hadoop配置集群
46 0
|
4月前
|
分布式计算 Hadoop Windows
解决Windows环境下hadoop集群的运行
解决Windows环境下hadoop集群的运行
35 0
|
4月前
|
分布式计算 Hadoop 大数据
大数据成长之路-- hadoop集群的部署(4)退役旧数据节点
大数据成长之路-- hadoop集群的部署(4)退役旧数据节点
52 0
|
4月前
|
分布式计算 Hadoop 大数据
大数据成长之路-- hadoop集群的部署(3)HDFS新增节点
大数据成长之路-- hadoop集群的部署(3)HDFS新增节点
66 0
|
4月前
|
分布式计算 Hadoop 大数据
大数据成长之路------hadoop集群的部署(2)Hadoop集群安装部署
大数据成长之路------hadoop集群的部署(2)Hadoop集群安装部署
76 0
|
4月前
|
分布式计算 网络协议 Hadoop
大数据成长之路------hadoop集群的部署 配置系统网络(静态) 新增集群(三台)
大数据成长之路------hadoop集群的部署 配置系统网络(静态) 新增集群(三台)
27 0