吐血整理的Hadoop最全开发指南【环境准备篇】(下)

简介: 吐血整理的Hadoop最全开发指南【环境准备篇】(下)

2.1.19 需要定制化的内容

按照编号依次点击


1)调整时间差


2)安装GHOME(图形化界面的方式)注意图上标注的点击顺序

image.png


3)配置磁盘分区

image.png


(1)手动添加分区

8614a87780a84989d81bce39e555859b.png


(2) 添加boot区 给上1G容量后点击添加挂载点

image.png

6ad3daefe4080cf0256143d21faadb6c.png


(3)添加swap交换分区

06468dea69f6803f14ecf16c62b0cb23.png

image.png

495ee0b2fd006818eb0b60b816c83c30.png


(4)配置根(/)目录

8aa960ce6b71709d4e131bdec4efac36.png


根目录作为存储使用,将剩下的空间都给他(50 - 4 - 1)= 45

d3bde7d696e91fe9b1b85fcaf7270202.png


3个分区都配置完毕过后可以点击完成

image.png


(5)分区配置完毕,点击接受更改

image.png


4)关闭kdump本身虚拟机内存就不够,他会吃掉一部分内存,我们尽量省一点

image.png


5)修改主机名

fbd358872e9f0592d436295b9dc9ac13.png


6)是否打开安全协议(开启与否都可以)

0468e271a39a71da9e5d1f3bf528df13.png


7)开始安装

0f34e387f307742df95d577eb160ed9b.png


8)安装时间比较长,大概需要10几分钟(设置root用户密码,一定要设置)

9753805adcdda0a60530190794214fe8.png


密码设置成什么自己决定,但是不要忘 建议使用(000000)

f7a6efc511faba56cc118066be9cbf56.png


2.1.20 虚拟机的使用引导界面

1) 安装完成 重启虚拟机

a58217344e353ab3160f6176794f24b6.png


2)进入引导界面(以下内容就按照图片走,就不做过多解释)

5a6307c7e3212af0a2bd05c184b33f89.png

6d4db8d4b2739719b4a4a0ff58aea2dc.png

a08cbcd29b49b88f9840a4622fa38122.png

88fdac94e75f44ebba86472c2a43a185.png452602992cda95607b39cc95b5545c1d.png

71fb3a5676a44c89b3902f8801c20dc5.png

b9d47825de893a2b5ac773fedb80e080.png

054df42496f8375f40d4efed8674afeb.png

bc7330741fd2f5ba6d56ce493242be05.png

d941b7a749b2a424a3ff81cc27548c54.png

安装完成


2.1.21 切换root用户

当前登录的用户是刚刚创建的用户,权限会缺少,所以使用root,修改一些内容更加方便

adef884f96b0211845fce8f0f2e281d9.png


1)切换root用户

ac871982791a324dbcafd982b4235158.png

4cc4213f7fe802eb78f8b48165fd538a.png

7c91c5b89498618a20b0bbf373cfca38.png


刚才的引导再来一遍(就不再放图片了)

97b3f289c7703200d2a808ef235e4275.png

最后的用户变成root表示切换成功


1.3 🚕虚拟机中的网络配置

对安装好的VMware进行网络配置,方便虚拟机连接网络,本次设置建议选择NAT模式,需要宿主机的Windows和虚拟机的Linux能够进行网络连接,同时虚拟机的Linux可以通过宿主机的Windows进入互联网。


1.3.1 编辑VMware的网络配置

f29f5ca07e80c18cab690fab07ed1d4f.png

a2926b4caf1527e1ae4cd4c8105011ed.png

ccb680730d1409d9371d86c81d6253cd.pngd7acfa6cb7797e4ea3a040fa7c6001e9.png


然后全部点击确定,VMware的网络配置就好了。


1.3.2 Windows的网络配置

以下以Window10为例

1)找到

0e18eb8248169a2dd326376143e0e9ff.png

76444b499b5d1fb32fe7ae8b5ddad199.png

4ff020acaf38c1dbaf22490ccac1bdc2.png

image.png

image.png

image.png

按如上格式修改IP信息(地址,网关,DNS服务器),修改完毕后全部点击确定退出。


1.3.3 虚拟机网络IP修改地址配置

1)修改网络IP地址为静态IP地址,避免IP地址经常变化,从而方便节点服务器间的互相通信。

[root@hadoop100 ~]#vim /etc/sysconfig/network-scripts/ifcfg-ens33


2)以下加粗的项必须修改,有值的按照下面的值修改,没有该项的则需要增加。

TYPE="Ethernet"    #网络类型(通常是Ethemet)
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"   #IP的配置方法[none|static|bootp|dhcp](引导时不使用协议|静态分配IP|BOOTP协议|DHCP协议)
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"   
UUID="e83804c1-3257-4584-81bb-660665ac22f6"   #随机id
DEVICE="ens33"   #接口名(设备,网卡)
ONBOOT="yes"   #系统启动的时候网络接口是否有效(yes/no)
#IP地址
IPADDR=192.168.10.100  
#网关  
GATEWAY=192.168.10.2      
#域名解析器
DNS1=192.168.10.2



3)修改IP地址后的结果如图所示,执行“:wq”命令,保存退出

image.png


4)执行systemctl restart network命令,重启网络服务。如果报错,则执行“reboot”命令,重启虚拟机

[root@hadoop100 ~]# systemctl restart network


5)使用ifconfig命令查看当前IP

[root@hadoop100 ~]# ifconfig

image.png

6)保证Linux系统ifcfg-ens33文件中IP地址、虚拟网络编辑器地址和Windows系统VM8网络IP地址相同


1.3.4 修改主机名和hosts文件

1)修改主机名称

[root@hadoop100 ~]# vim /etc/hostname
hadoop100


2)配置Linux克隆机主机名称映射hosts文件,打开/etc/hosts

[root@hadoop100 ~]# vim /etc/hosts


添加如下内容:

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108


3)重启克隆机hadoop102

[root@hadoop100 ~]# reboot


4)修改windows的主机映射文件(hosts文件)

(1)如果操作系统是window7,可以直接修改

(a)进入C:\Windows\System32\drivers\etc路径

(b)打开hosts文件并添加如下内容,然后保存

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108


(2)如果操作系统是window10,先拷贝出来,修改保存以后,再覆盖即可

  • (a)进入C:\Windows\System32\drivers\etc路径
  • (b)拷贝hosts文件到桌面
  • (c)打开桌面hosts文件并添加如下内容
192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108

(d)将桌面hosts文件覆盖C:\Windows\System32\drivers\etc路径hosts文

相关文章
|
7月前
|
分布式计算 资源调度 Hadoop
Hadoop节点资源扩展环境部署
【4月更文挑战第16天】扩展Hadoop集群涉及多个步骤:准备新节点,配置静态IP,安装并配置Hadoop,将新节点添加到集群,验证测试,及优化调整。确保符合硬件需求,更新集群节点列表,执行`hdfs dfsadmin -refreshNodes`命令,检查新节点状态,并依据测试结果优化性能。注意不同环境可能需要调整具体步骤,建议参照官方文档并在测试环境中预演。
64 4
|
7月前
|
分布式计算 Hadoop Java
我用免费白拿的服务器搭建了一台基于CentOS7的Hadoop3.x伪分布式环境
我用免费白拿的服务器搭建了一台基于CentOS7的Hadoop3.x伪分布式环境
134 0
|
2月前
|
分布式计算 Hadoop 大数据
大数据体系知识学习(一):PySpark和Hadoop环境的搭建与测试
这篇文章是关于大数据体系知识学习的,主要介绍了Apache Spark的基本概念、特点、组件,以及如何安装配置Java、PySpark和Hadoop环境。文章还提供了详细的安装步骤和测试代码,帮助读者搭建和测试大数据环境。
83 1
|
2月前
|
存储 SQL 消息中间件
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
54 0
|
4月前
|
存储 分布式计算 监控
Hadoop在云计算环境下的部署策略
【8月更文第28天】Hadoop是一个开源软件框架,用于分布式存储和处理大规模数据集。随着云计算技术的发展,越来越多的企业开始利用云平台的优势来部署Hadoop集群,以实现更高的可扩展性、可用性和成本效益。本文将探讨如何在公有云、私有云及混合云环境下部署和管理Hadoop集群,并提供具体的部署策略和代码示例。
171 0
|
7月前
|
存储 分布式计算 Hadoop
[绝对要收藏]配置hadoop完全分布式环境
[绝对要收藏]配置hadoop完全分布式环境
57 0
|
7月前
|
分布式计算 Hadoop Java
Hadoop【环境搭建 01】【hadoop-3.1.3 单机版】【Linux环境 腾讯云 CentOS Linux release 7.5.1804】【详细】
Hadoop【环境搭建 01】【hadoop-3.1.3 单机版】【Linux环境 腾讯云 CentOS Linux release 7.5.1804】【详细】
137 0
|
7月前
|
分布式计算 安全 Hadoop
百度搜索:蓝易云【centos7系统搭建Hadoop环境教程】
这些是在CentOS 7上搭建Hadoop环境的基本步骤。根据您的需求和具体环境,可能还需要进行其他配置和调整。确保在进行任何与网络连接和安全相关的操作之前,详细了解您的网络环境和安全需求,并采取适当的安全措施。
107 0
|
7月前
|
分布式计算 Hadoop Java
Hadoop【部署 01】腾讯云Linux环境CentOS Linux release 7.5.1804单机版hadoop-3.1.3详细安装步骤(安装+配置+初始化+启动脚本+验证)
Hadoop【部署 01】腾讯云Linux环境CentOS Linux release 7.5.1804单机版hadoop-3.1.3详细安装步骤(安装+配置+初始化+启动脚本+验证)
156 0
|
7月前
|
分布式计算 Hadoop Windows
解决Windows环境下hadoop集群的运行
解决Windows环境下hadoop集群的运行
127 0