吐血整理的Hadoop最全开发指南【环境准备篇】(下)

简介: 吐血整理的Hadoop最全开发指南【环境准备篇】(下)

2.1.19 需要定制化的内容

按照编号依次点击


1)调整时间差


2)安装GHOME(图形化界面的方式)注意图上标注的点击顺序

image.png


3)配置磁盘分区

image.png


(1)手动添加分区

8614a87780a84989d81bce39e555859b.png


(2) 添加boot区 给上1G容量后点击添加挂载点

image.png

6ad3daefe4080cf0256143d21faadb6c.png


(3)添加swap交换分区

06468dea69f6803f14ecf16c62b0cb23.png

image.png

495ee0b2fd006818eb0b60b816c83c30.png


(4)配置根(/)目录

8aa960ce6b71709d4e131bdec4efac36.png


根目录作为存储使用,将剩下的空间都给他(50 - 4 - 1)= 45

d3bde7d696e91fe9b1b85fcaf7270202.png


3个分区都配置完毕过后可以点击完成

image.png


(5)分区配置完毕,点击接受更改

image.png


4)关闭kdump本身虚拟机内存就不够,他会吃掉一部分内存,我们尽量省一点

image.png


5)修改主机名

fbd358872e9f0592d436295b9dc9ac13.png


6)是否打开安全协议(开启与否都可以)

0468e271a39a71da9e5d1f3bf528df13.png


7)开始安装

0f34e387f307742df95d577eb160ed9b.png


8)安装时间比较长,大概需要10几分钟(设置root用户密码,一定要设置)

9753805adcdda0a60530190794214fe8.png


密码设置成什么自己决定,但是不要忘 建议使用(000000)

f7a6efc511faba56cc118066be9cbf56.png


2.1.20 虚拟机的使用引导界面

1) 安装完成 重启虚拟机

a58217344e353ab3160f6176794f24b6.png


2)进入引导界面(以下内容就按照图片走,就不做过多解释)

5a6307c7e3212af0a2bd05c184b33f89.png

6d4db8d4b2739719b4a4a0ff58aea2dc.png

a08cbcd29b49b88f9840a4622fa38122.png

88fdac94e75f44ebba86472c2a43a185.png452602992cda95607b39cc95b5545c1d.png

71fb3a5676a44c89b3902f8801c20dc5.png

b9d47825de893a2b5ac773fedb80e080.png

054df42496f8375f40d4efed8674afeb.png

bc7330741fd2f5ba6d56ce493242be05.png

d941b7a749b2a424a3ff81cc27548c54.png

安装完成


2.1.21 切换root用户

当前登录的用户是刚刚创建的用户,权限会缺少,所以使用root,修改一些内容更加方便

adef884f96b0211845fce8f0f2e281d9.png


1)切换root用户

ac871982791a324dbcafd982b4235158.png

4cc4213f7fe802eb78f8b48165fd538a.png

7c91c5b89498618a20b0bbf373cfca38.png


刚才的引导再来一遍(就不再放图片了)

97b3f289c7703200d2a808ef235e4275.png

最后的用户变成root表示切换成功


1.3 🚕虚拟机中的网络配置

对安装好的VMware进行网络配置,方便虚拟机连接网络,本次设置建议选择NAT模式,需要宿主机的Windows和虚拟机的Linux能够进行网络连接,同时虚拟机的Linux可以通过宿主机的Windows进入互联网。


1.3.1 编辑VMware的网络配置

f29f5ca07e80c18cab690fab07ed1d4f.png

a2926b4caf1527e1ae4cd4c8105011ed.png

ccb680730d1409d9371d86c81d6253cd.pngd7acfa6cb7797e4ea3a040fa7c6001e9.png


然后全部点击确定,VMware的网络配置就好了。


1.3.2 Windows的网络配置

以下以Window10为例

1)找到

0e18eb8248169a2dd326376143e0e9ff.png

76444b499b5d1fb32fe7ae8b5ddad199.png

4ff020acaf38c1dbaf22490ccac1bdc2.png

image.png

image.png

image.png

按如上格式修改IP信息(地址,网关,DNS服务器),修改完毕后全部点击确定退出。


1.3.3 虚拟机网络IP修改地址配置

1)修改网络IP地址为静态IP地址,避免IP地址经常变化,从而方便节点服务器间的互相通信。

[root@hadoop100 ~]#vim /etc/sysconfig/network-scripts/ifcfg-ens33


2)以下加粗的项必须修改,有值的按照下面的值修改,没有该项的则需要增加。

TYPE="Ethernet"    #网络类型(通常是Ethemet)
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"   #IP的配置方法[none|static|bootp|dhcp](引导时不使用协议|静态分配IP|BOOTP协议|DHCP协议)
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"   
UUID="e83804c1-3257-4584-81bb-660665ac22f6"   #随机id
DEVICE="ens33"   #接口名(设备,网卡)
ONBOOT="yes"   #系统启动的时候网络接口是否有效(yes/no)
#IP地址
IPADDR=192.168.10.100  
#网关  
GATEWAY=192.168.10.2      
#域名解析器
DNS1=192.168.10.2



3)修改IP地址后的结果如图所示,执行“:wq”命令,保存退出

image.png


4)执行systemctl restart network命令,重启网络服务。如果报错,则执行“reboot”命令,重启虚拟机

[root@hadoop100 ~]# systemctl restart network


5)使用ifconfig命令查看当前IP

[root@hadoop100 ~]# ifconfig

image.png

6)保证Linux系统ifcfg-ens33文件中IP地址、虚拟网络编辑器地址和Windows系统VM8网络IP地址相同


1.3.4 修改主机名和hosts文件

1)修改主机名称

[root@hadoop100 ~]# vim /etc/hostname
hadoop100


2)配置Linux克隆机主机名称映射hosts文件,打开/etc/hosts

[root@hadoop100 ~]# vim /etc/hosts


添加如下内容:

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108


3)重启克隆机hadoop102

[root@hadoop100 ~]# reboot


4)修改windows的主机映射文件(hosts文件)

(1)如果操作系统是window7,可以直接修改

(a)进入C:\Windows\System32\drivers\etc路径

(b)打开hosts文件并添加如下内容,然后保存

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108


(2)如果操作系统是window10,先拷贝出来,修改保存以后,再覆盖即可

  • (a)进入C:\Windows\System32\drivers\etc路径
  • (b)拷贝hosts文件到桌面
  • (c)打开桌面hosts文件并添加如下内容
192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108

(d)将桌面hosts文件覆盖C:\Windows\System32\drivers\etc路径hosts文

相关文章
|
3天前
|
分布式计算 资源调度 Hadoop
Hadoop节点资源扩展环境部署
【4月更文挑战第16天】扩展Hadoop集群涉及多个步骤:准备新节点,配置静态IP,安装并配置Hadoop,将新节点添加到集群,验证测试,及优化调整。确保符合硬件需求,更新集群节点列表,执行`hdfs dfsadmin -refreshNodes`命令,检查新节点状态,并依据测试结果优化性能。注意不同环境可能需要调整具体步骤,建议参照官方文档并在测试环境中预演。
15 4
|
5月前
|
分布式计算 Hadoop Java
搭建Hadoop环境
搭建Hadoop环境
109 0
|
6月前
|
分布式计算 Hadoop Java
Hadoop伪分布式环境部署(非脚本)
本实验基于ECS云服务器(centOS7.7)搭建Hadoop伪分布式环境,并通过运行一个MapReduce示例程序熟悉Hadoop平台的使用。
|
3月前
|
分布式计算 安全 Hadoop
百度搜索:蓝易云【centos7系统搭建Hadoop环境教程】
这些是在CentOS 7上搭建Hadoop环境的基本步骤。根据您的需求和具体环境,可能还需要进行其他配置和调整。确保在进行任何与网络连接和安全相关的操作之前,详细了解您的网络环境和安全需求,并采取适当的安全措施。
68 0
|
4月前
|
分布式计算 Hadoop Java
Hadoop【部署 01】腾讯云Linux环境CentOS Linux release 7.5.1804单机版hadoop-3.1.3详细安装步骤(安装+配置+初始化+启动脚本+验证)
Hadoop【部署 01】腾讯云Linux环境CentOS Linux release 7.5.1804单机版hadoop-3.1.3详细安装步骤(安装+配置+初始化+启动脚本+验证)
87 0
|
4月前
|
分布式计算 Hadoop Windows
解决Windows环境下hadoop集群的运行
解决Windows环境下hadoop集群的运行
35 0
|
7月前
|
弹性计算 分布式计算 Hadoop
搭建Hadoop环境
本教程介绍基于ECS搭建Hadoop伪分布式环境。
190 0
|
8月前
|
存储 弹性计算 分布式计算
【ECS生长万物之开源】基于ECS实例搭建Hadoop环境
Hadoop是一款由Apache基金会用Java语言开发的分布式开源软件框架,用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的能力进行高速运算和存储。本教程介绍如何在Linux操作系统的ECS实例上快速搭建Hadoop伪分布式环境。
|
8月前
|
弹性计算 分布式计算 Hadoop
搭建Hadoop环境
本教程介绍如何在Linux操作系统的ECS实例上快速搭建Hadoop伪分布式环境。
13053 8
|
9月前
|
分布式计算 资源调度 Hadoop