在VMware中完成hadoop集群搭建

简介: 一个master结点,两个slave结点,能够互相ping通

主要包括以下几个步骤:

  1. 创建虚拟机  
  2. 安装centos操作系统  
  3. 配置虚拟网络  
  4. 设置centos网络配置文件  
  5. 使用ssh工具连接虚拟机  
  6. 安装JDK


前置准备工作:

  • 使用win10,但是hadoop集群需要linux环境,因此借助VMWare创建linux虚拟机,如果你直接有linux环境,可以直接跳到第三步骤;
  • Centos 桌面版不是必须的,你可以使用不带桌面的,因为后续考虑到要用eclipse写MapReduce程序,所以采用桌面版;
  • 需要提前下载好Centos的 ISO镜像,这个需要在VMWare中导入;
  • 需要提前下载好JDK,这里采用 1.8.0版本;
  • 需要提前在win10中装好xshell,因为配好网络后,用ssh连接上虚拟机进行操作,当然这也不是必须的,但是在VMWare中使用终端写linux命令会非常难受

下面开始

使用VMware创建,需要提前下载好Centos的镜像

  • 创建虚拟机,安装centos :
  • 注意,这里采用自定义虚拟机的方式,其中磁盘容量不是分配的实际物理空间大小,而是虚拟空间大小,这里不影响自己电脑的实际存储空间,指定40G利于后续继续使用;
  • 注意,这里分配的内存经过实际使用,发现会影响本地电脑的运行速度,因此如果你的电脑也是8G,最好是填2G,这也够用了;

image.png

  • 注意选择Linux Centos64:

image.png

  • 设置ROOT密码,并导入提前下载好的Centos ISO镜像:
  • 这里应该也可以设置成空密码

image.png

image.png

  • 配置虚拟网络,添加网络环回适配器 ,并给适配器设置ip
  • 这步是进入本地win的网络适配器(位置自行百度。。)

image.png

  • 这个IP地址我是填的 192.168.1.1

image.png

  • 设置桥接模式
  • 应该设置成别的模式也行,但是我使用桥接模式就可以ping通

image.png

  • 虚拟机中配置网络

image.png

  • 编辑ifcfg-ens33文件添加ip和子网掩码
  • 这里面的每行代码都很重要,其中 DEVICE、NAME都要写成ens33

image.png

  • 重启网卡服务
  • 因为修改了cfg文件,所以要重新生效下,如果还是不行,就需要打开另一个新终端:

image.png

  • 设置主机名为master

image.png

  • ssh工具连接 ,xshell连接,传入下载好的JDK
  • xshell 里面有sftp可以直接传文件,直接拖拽就可以
  • 安装JDK 并解压  

image.png

  • 配置环境变量

image.png

image.png

  • 生效

image.png

  • 测试JDK是否安装成功

image.png

相关文章
|
2月前
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
193 6
|
2月前
|
分布式计算 Hadoop Shell
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
Hadoop-35 HBase 集群配置和启动 3节点云服务器 集群效果测试 Shell测试
85 4
|
2月前
|
SQL 分布式计算 Hadoop
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
Hadoop-37 HBase集群 JavaAPI 操作3台云服务器 POM 实现增删改查调用操作 列族信息 扫描全表
39 3
|
2月前
|
分布式计算 Hadoop Shell
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
Hadoop-36 HBase 3节点云服务器集群 HBase Shell 增删改查 全程多图详细 列族 row key value filter
62 3
|
2月前
|
分布式计算 Java Hadoop
Hadoop-30 ZooKeeper集群 JavaAPI 客户端 POM Java操作ZK 监听节点 监听数据变化 创建节点 删除节点
Hadoop-30 ZooKeeper集群 JavaAPI 客户端 POM Java操作ZK 监听节点 监听数据变化 创建节点 删除节点
72 1
|
2月前
|
分布式计算 监控 Hadoop
Hadoop-29 ZooKeeper集群 Watcher机制 工作原理 与 ZK基本命令 测试集群效果 3台公网云服务器
Hadoop-29 ZooKeeper集群 Watcher机制 工作原理 与 ZK基本命令 测试集群效果 3台公网云服务器
48 1
|
2月前
|
分布式计算 Hadoop Unix
Hadoop-28 ZooKeeper集群 ZNode简介概念和测试 数据结构与监听机制 持久性节点 持久顺序节点 事务ID Watcher机制
Hadoop-28 ZooKeeper集群 ZNode简介概念和测试 数据结构与监听机制 持久性节点 持久顺序节点 事务ID Watcher机制
54 1
|
2月前
|
分布式计算 Hadoop
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
Hadoop-27 ZooKeeper集群 集群配置启动 3台云服务器 myid集群 zoo.cfg多节点配置 分布式协调框架 Leader Follower Observer
54 1
|
2月前
|
存储 SQL 消息中间件
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
Hadoop-26 ZooKeeper集群 3台云服务器 基础概念简介与环境的配置使用 架构组成 分布式协调框架 Leader Follower Observer
54 0
|
2月前
|
SQL 分布式计算 关系型数据库
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
Hadoop-24 Sqoop迁移 MySQL到Hive 与 Hive到MySQL SQL生成数据 HDFS集群 Sqoop import jdbc ETL MapReduce
110 0

相关实验场景

更多