hadoop3自学入门笔记(1)——虚拟机安装和网络配置

本文涉及的产品
云防火墙,500元 1000GB
简介: hadoop3自学入门笔记(1)——虚拟机安装和网络配置

前言

年过30惶惶不安,又逢疫情,还是不断学习,强化自己的能力。hadoop的视频和书籍在15年的时候就看过,但是一直没动手实践过,要知道技术不经过实战,一点提升也没有。因此下定决心边学边做,希望能有所收获。


软件版本介绍

  • virtualbox 6.1
  • centos7
  • hadoop-3.2.1
  • jdk-8u241-linux-x64
  • xshell
  • xftp

虚拟机配置规划

name

ip

role

61

192.168.3.61

namenode,datanode

62

192.168.3.62

datanode

63

192.168.3.63

namenode,datanode

64

192.168.3.64

datanode


虚拟机的创建

安装virtualbox

新建虚拟机如下图所示:

1.png



选择red hat 64位。点击下一步,内存根据情况设置


2.png


下一步


3.png


现在创建虚拟机硬盘,点击创建。


4.png


勾选第一个,下一步。


5.png


动态分配,下一步。


6.png


点击创建。


7.png


双击启动。


8.png


注册系统镜像iso.启动安装


记得设置连接方式,桥接网卡,可以让虚拟机和本机在同一个网络下。


9.png

复制虚拟机,避免多次安装

10.png

右击复制


虚拟机配置ip

  1. 修改192.168.3.61的网络配置,192.168.3.62,192.168.3.63,192.168.3.64的雷同。
# vi /etc/sysconfig/network-scripts/ifcfg-ens3
TYPE=Ethernet
BOOTPROTO=static //dhcp改成static
DEFROUTE=yes
PEERDNS=yes
PEERROUTES=yes
IPV4_FAILURE_FATAL=yes //no改成yes
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens3
UUID=851ae637-14d4-4435-9c38-d3a3e4c2f0c3
DEVICE=ens3
IPADDR=192.168.3.61 //新加上的
NETMASK=255.255.255.0 //新加上的
GATEWAY=192.168.3.1 //新加上的
ONBOOT=yes //no改成yes


2.重启网络

# service network restart

当所有结果都显示为OK时,才能成功。


3.curl测试网络是否通了

1.png

返回网页表示统领。


使用 xshell

在虚拟机中输入命令很受,让我们用专门的客户端吧,让你写命令6的起飞。


2.png


点击连接,输入用户名和密码,记得勾选记住用户名和密码。下次就避免输入了。


SSH免密码登录

ssh-keygen 用来生成ssh登录的key,可以使我们以后登录远程主机时无需再输入远程主机的key具体使用方法如下:

当我们需要用主机61登录远程主机62时,我们在主机61上输入:


1.生成Key

# ssh-keygen -t rsa

会产生如下的信息:


2.key的名称输入id_rsa,密码直接回车表示空

Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):      ->输入key文件的名称
Enter passphrase (empty for no passphrase):                 ->输入使用key时的密码,注意这里不是远处服务器的密码,
                                               只是你使用sshkey时需要输入的密码,
                                     建议不输入(如果要输入这个密码还不如直接输入远处主机的密码:))
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
11:ae:00:bd:92:bc:70:f8:4b:cb:47:06:7f:e2:73:21 root@xxxxxx

3.把公匙复制到62

scp id_rsa.pub 192.168.3.62:/root/.ssh/

4.远程到62

ssh 192.168.3.62    ->登录远程主机
root@192.168.3.62's password: ->输入密码

5.生成authorized_keys

# cd /root/.ssh    ->进入到key目录
# cat id_rsa.pub >> authorized_keys

6.修改.ssh和authorized_keys权限。退出62,重启ssh服务

600 设置拥有者可读写,其他人不可读写执行,

700** **** 只有拥有者有读、写、执行权限。**

#chmod 700 .ssh
#chmod 600  authorized_keys     
#exit    -> 推出远程62服务器
#service sshd restart  ->重新启动ssh服务
#ssh 192.168.3.62  ->远程登录到62测试下吧:)

关闭防火墙

了使两台机器之间进行通信,还需要将每个节点的防火墙都关闭。关闭防火墙有两种方法,一种是永久生效;另一种是立即生效,重启后无效。这两条命令我们可以都运行一遍,这样就代表防火墙立即关闭,并且机器重启后仍然处于关闭状态。

停止firewall

systemctl stop firewalld.service

禁止firewall开机启动

systemctl disable firewalld.service


相关文章
|
Linux 开发工具 Android开发
FFmpeg开发笔记(六十)使用国产的ijkplayer播放器观看网络视频
ijkplayer是由Bilibili基于FFmpeg3.4研发并开源的播放器,适用于Android和iOS,支持本地视频及网络流媒体播放。本文详细介绍如何在新版Android Studio中导入并使用ijkplayer库,包括Gradle版本及配置更新、导入编译好的so文件以及添加直播链接播放代码等步骤,帮助开发者顺利进行App调试与开发。更多FFmpeg开发知识可参考《FFmpeg开发实战:从零基础到短视频上线》。
1198 2
FFmpeg开发笔记(六十)使用国产的ijkplayer播放器观看网络视频
|
机器学习/深度学习 数据可视化 计算机视觉
目标检测笔记(五):详细介绍并实现可视化深度学习中每层特征层的网络训练情况
这篇文章详细介绍了如何通过可视化深度学习中每层特征层来理解网络的内部运作,并使用ResNet系列网络作为例子,展示了如何在训练过程中加入代码来绘制和保存特征图。
321 1
目标检测笔记(五):详细介绍并实现可视化深度学习中每层特征层的网络训练情况
|
6月前
|
域名解析 API PHP
VM虚拟机全版本网盘+免费本地网络穿透端口映射实时同步动态家庭IP教程
本文介绍了如何通过网络穿透技术让公网直接访问家庭电脑,充分发挥本地硬件性能。相比第三方服务受限于转发带宽,此方法利用自家宽带实现更高效率。文章详细讲解了端口映射教程,包括不同网络环境(仅光猫、光猫+路由器)下的设置步骤,并提供实时同步动态IP的两种方案:自建服务器或使用三方API接口。最后附上VM虚拟机全版本下载链接,便于用户在穿透后将服务运行于虚拟环境中,提升安全性与适用性。
|
7月前
|
SQL 分布式计算 Hadoop
Hadoop生态系统:从小白到老司机的入门指南
Hadoop生态系统:从小白到老司机的入门指南
328 13
|
7月前
|
存储 监控 虚拟化
Hyper V上网优化:提升虚拟机网络速度
要优化Hyper-V虚拟机的网络速度,可从以下几方面入手:1. 优化虚拟交换机配置,如选择合适的交换机类型、启用SR-IOV、配置VLAN和QoS策略;2. 调整网络适配器设置,选择适当的适配器类型并启用VRQ等;3. 优化宿主机网络配置,更新网卡固件和驱动,启用硬件加速;4. 使用性能监视工具监控网络流量;5. 其他措施如启用硬件虚拟化、使用外部存储、配置NLB等。通过合理配置,可显著提升网络性能。
|
7月前
|
安全 网络协议 网络安全
当虚拟机出现网络连接问题时,应该先检查Hyper-V的网卡连接配置
当虚拟机出现网络连接问题时,应首先检查Hyper-V的网卡配置。具体步骤包括:确认虚拟机运行状态、检查虚拟交换机类型和物理网卡连接、确保虚拟机网络适配器正确连接到虚拟交换机,并验证网络配置(IP地址等)。常见问题如虚拟交换机配置错误、网络适配器未连接或防火墙阻止连接,可通过重新配置或调整设置解决。必要时重启虚拟机和宿主机,查看事件日志或联系技术支持以进一步排查问题。
|
7月前
|
监控 安全 网络协议
Hyper V上网实战:多虚拟机网络环境配置
在Hyper-V环境中配置多虚拟机网络以实现上网功能,需完成以下步骤:1. 确认Hyper-V安装与物理网络连接正常;2. 配置虚拟交换机(外部、内部或专用)以支持不同网络需求;3. 设置虚拟机网络适配器并关联对应虚拟交换机;4. 验证虚拟机网络连接状态;5. 根据场景需求优化多虚拟机网络环境。此外,还需注意网络隔离、性能监控及数据备份等事项,确保网络安全稳定运行。
|
7月前
|
虚拟化 网络虚拟化 Windows
导入虚拟机到Hyper-V环境时,理解并配置网络适配器设置是确保网络通信的关键
在Hyper-V环境中,正确配置虚拟机的网络适配器是确保其网络通信的关键。需先启用Hyper-V功能并创建虚拟交换机。接着,在Hyper-V管理器中选择目标虚拟机,添加或配置网络适配器,选择合适的虚拟交换机(外部、内部或私有),并根据需求配置VLAN、MAC地址等选项。最后,启动虚拟机并验证网络连接,确保其能正常访问外部网络、与主机及其他虚拟机通信。常见问题包括无法访问外部网络或获取IP地址,需检查虚拟交换机和适配器设置。
|
机器学习/深度学习 编解码 算法
轻量级网络论文精度笔记(三):《Searching for MobileNetV3》
MobileNetV3是谷歌为移动设备优化的神经网络模型,通过神经架构搜索和新设计计算块提升效率和精度。它引入了h-swish激活函数和高效的分割解码器LR-ASPP,实现了移动端分类、检测和分割的最新SOTA成果。大模型在ImageNet分类上比MobileNetV2更准确,延迟降低20%;小模型准确度提升,延迟相当。
407 1
轻量级网络论文精度笔记(三):《Searching for MobileNetV3》
|
12月前
|
Ubuntu Linux 虚拟化
Linux虚拟机网络配置
【10月更文挑战第25天】在 Linux 虚拟机中,网络配置是实现虚拟机与外部网络通信的关键步骤。本文介绍了四种常见的网络配置方式:桥接模式、NAT 模式、仅主机模式和自定义网络模式,每种模式都详细说明了其原理和配置步骤。通过这些配置,用户可以根据实际需求选择合适的网络模式,确保虚拟机能够顺利地进行网络通信。
881 1

热门文章

最新文章

相关实验场景

更多