大数据之Hadoop3.x模板虚拟机配置图解

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介: 系统的安装得分两个步骤,第一步得配置 一台电脑,选配CPU,内存,磁盘,网卡等硬件。第二步才是安装系统。

文章目录

🌹写在开头

💗安装包准备

一、VMware安装

二、Centos安装

2.1 配置电脑

2.1.1 进入VMware

2.1.2 自定义新的虚拟机

2.1.3 解决虚拟机的兼容性

2.1.4 选择虚拟机的操作系统

2.1.5 选择CPU的个数

2.1.6 选择上网方式

2.1.7 选择磁盘的类型

2.1.8 选择磁盘的种类

2.1.9 选择虚拟机的磁盘大小

2.1.10 虚拟机文件的存放位置

2.1.11 电脑配置完毕

2.2 安装系统centos

2.2.1 选择CD/DVD的方式安装系统

2.2.2 系统安装引导界面

2.2.3 配置VM的IP地址

2.2.4 配置win10的IP地址

2.2.5 配置终端IP

三、远程访问工具配置

3.1 Xshell

3.2 Xftp

🌹写在开头

小袁准备更新从零搭建Hadoop集群教程,此博客针为没有Linux基础,还不会装centos系统的小伙伴而准备的,期待你的关注❤️❤️

第一篇文章:大数据之Hadoop图解概述

第二篇文章:大数据之Hadoop模板虚拟机配置图解

第三篇文章:快更新完了


💗安装包准备

已经为大家准备好了安装包,用阿里云下载会快很多!!!



阿里云地址:https://www.aliyundrive.com/s/CnYDAy4tPjM

一、VMware安装

1)开始安装

image.png

image.png

image.png



2)更改安装地址

image.pngimage.png



3)接下默认下一步就行

image.png

image.png

image.png

image.png




4)安装完成

image.png

5)双击打开后,输入秘钥(百度!!!)


6)主界面(这样就是OK了)

image.png


二、Centos安装

系统的安装得分两个步骤,第一步得配置 一台电脑,选配CPU,内存,磁盘,网卡等硬件。第二步才是安装系统。


2.1 配置电脑

2.1.1 进入VMware

image.png


2.1.2 自定义新的虚拟机

image.png


2.1.3 解决虚拟机的兼容性

image.png

image.png




2.1.4 选择虚拟机的操作系统

image.png

image.png


2.1.5 选择CPU的个数

image.png


2.1.6 选择上网方式

image.png


2.1.7 选择磁盘的类型

image.png


2.1.8 选择磁盘的种类

image.png


2.1.9 选择虚拟机的磁盘大小

image.png


2.1.10 虚拟机文件的存放位置

image.png


2.1.11 电脑配置完毕

image.png


注意:在安装系统之前需要检查自己虚拟机的bios 的虚拟化是否打开(大部分的电脑都是打开的,大家可以先尝试直接安装,如果出现错误再去调试,没有出错就不用管了)

image.png


2.2 安装系统centos

2.2.1 选择CD/DVD的方式安装系统

image.png

image.png

image.png

image.png






2.2.2 系统安装引导界面

注意:如果这个时候你需要鼠标可以使ctrl+alt一起按呼出鼠标

image.png


1)等待安装

image.png

2)选择中文

image.png

3)修改日期

image.png

image.png


4)选择图形化界面

image.png

image.png



5)选择自动分区

image.png


6)KDUMP是系统崩溃时,备份数据用的(学习阶段可配可不配)

image.png

7)配置网络和主机

image.png

image.png


8)开始安装

image.png

9)修改root密码

image.png

image.png



10)安装后重启

image.png

11)接收协议

image.png

image.png


12)完成配置

image.png

13)默认前进

image.png

image.png

image.png

image.png

image.png

image.png






14)设置普通用户

image.png

15)设置密码

image.png

16)安装完成

image.png

image.png



2.2.3 配置VM的IP地址

1)点击虚拟网络编辑器

image.png

2)选择V8后,点击更改设置

image.png

3)选择V8后,更改子网地址,点击NAT设置

image.png

4)修改网关后,确定

image.png


2.2.4 配置win10的IP地址

image.png

image.png

image.png

image.png

image.png






2.2.5 配置终端IP

1)右击点击打开终端

image.png

2)切换到root用户下:su root

image.png

3)修改ip地址


image.png



4)配置主机名称,为hadoop100就没问题

image.png


5)配置主机名称映射

image.png


把下面内容加入到文末


192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108

image.png

修改window主机映射文件:


1)进入:C:\Windows\System32\drivers\etc路径


2)把host文件拷贝在桌面,并添加如下内容,然后保存,再取覆盖原文件(因为权限问题)


6)重启虚拟机:reboot


7)验证一下配置是否完成

image.png

image.png






三、远程访问工具配置

最新远程访问工具大家自己装一下,安装包在文章开头!!!

image.png


3.1 Xshell

image.png

image.png

image.png

image.png

image.png

image.png








3.2 Xftp

通过拖拽的方式可以把Windows上的文件传输到虚拟机里面


image.png




相关文章
|
1月前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
148 6
|
1月前
|
分布式计算 资源调度 Hadoop
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
大数据-80 Spark 简要概述 系统架构 部署模式 与Hadoop MapReduce对比
64 2
|
16天前
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代,数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件,通过HDFS存储数据和Spark进行高效计算,实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践,包括数据存储、处理、安全和可视化等方面,展示了它们在实际应用中的协同效应。
62 2
|
17天前
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第26天】本文详细探讨了Hadoop与Spark在大数据处理中的协同作用,通过具体案例展示了两者的最佳实践。Hadoop的HDFS和MapReduce负责数据存储和预处理,确保高可靠性和容错性;Spark则凭借其高性能和丰富的API,进行深度分析和机器学习,实现高效的批处理和实时处理。
57 1
|
1月前
|
分布式计算 Hadoop 大数据
大数据体系知识学习(一):PySpark和Hadoop环境的搭建与测试
这篇文章是关于大数据体系知识学习的,主要介绍了Apache Spark的基本概念、特点、组件,以及如何安装配置Java、PySpark和Hadoop环境。文章还提供了详细的安装步骤和测试代码,帮助读者搭建和测试大数据环境。
55 1
|
1月前
|
存储 分布式计算 资源调度
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(一)
75 5
|
1月前
|
SQL 分布式计算 大数据
大数据平台的毕业设计01:Hadoop与离线分析
大数据平台的毕业设计01:Hadoop与离线分析
100 0
|
1月前
|
资源调度 数据可视化 大数据
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(二)
大数据-04-Hadoop集群 集群群起 NameNode/DataNode启动 3台公网云 ResourceManager Yarn HDFS 集群启动 UI可视化查看 YarnUI(二)
36 4
|
1月前
|
大数据 网络安全 数据安全/隐私保护
大数据-03-Hadoop集群 免密登录 超详细 3节点云 分发脚本 踩坑笔记 SSH免密 集群搭建(二)
大数据-03-Hadoop集群 免密登录 超详细 3节点云 分发脚本 踩坑笔记 SSH免密 集群搭建(二)
111 5
|
1月前
|
XML 分布式计算 资源调度
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
大数据-02-Hadoop集群 XML配置 超详细 core-site.xml hdfs-site.xml 3节点云服务器 2C4G HDFS Yarn MapRedece(一)
149 5