VMware创建Linux虚拟机之(三)Hadoop安装与配置及搭建集群 中

简介: VMware创建Linux虚拟机之(三)Hadoop安装与配置及搭建集群 中

配置文件系统(只在master做)

Hadoop 的文件系统配置文件是 hdfs-site.xml ,位于 /opt/hadoop/hadoop/etc/hadoop 子目录下,用vi编辑该文件,需要将以下代码放在文件的和之间。

执行编辑hdfs-site.xml文件的命令:

vi /opt/hadoop/hadoop/etc/hadoop/hdfs-site.xml

需要在和之间加入的代码:

<property>
  <name>dfs.namenode.http-address</name>
  <!-- Master为当前机器名或者IP地址 -->
  <value>master:9001</value>
</property>
<property>
  <name>dfs.namenode.name.dir</name>
  <!-- 以下为存放节点命名的路径 -->
  <value>file:/opt/hadoop/hadoop/hadoopdata/dfs/name</value>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <!-- 以下为存放数据命名的路径 -->
  <value>file:/opt/hadoop/hadoop/hadoopdata/dfs/data</value>
</property>
<property>
  <name>dfs.replication</name>
  <!-- 备份次数,因为有2台DataNode-->
  <value>2</value>
</property>
<property>
  <name>dfs.webhdfs.enabled</name>
  <!-- Web HDFS-->
  <value>true</value>
</property>
<property>
  <name>dfs.permissions</name>
  <value>false</value>
</property>
<property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>Master:50090</value>
</property>

如下图所示:

编辑完成后,保存退出即可!

配置 yarn-site.xml 文件(只在master做)

     yarn 的站点配置文件是 yarn-site.xml ,位于 /opt/hadoop/hadoop/etc/hadoop 子目录下,依然用vi编辑该文件,将以下代码放在文件的和之间。

执行编辑yarn-site.xml文件的命令:

vi /opt/hadoop/hadoop/etc/hadoop/yarn-site.xml

需要在和之间加入的代码:

        <property>
            <name>yarn.resourcemanager.hostname</name>
             <!-- Master为当前机器名或者ip号 -->
             <value>master</value>
        </property>
        <property>
              <name>yarn.nodemanager.aux-services</name>
              <!-- Node Manager辅助服务 -->
              <value>mapreduce_shuffle</value>
         </property>
        <property>
              <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
              <!-- Node Manager辅助服务类 -->
              <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
        <property>
              <name>yarn.nodemanager.resource.cpu-vcores</name>
              <!-- CPU个数,需要根据当前计算机的CPU设置-->
              <value>1</value>
         </property>
        <property>
              <name>yarn.resourcemanager.admin.address</name>
              <!-- Resource Manager管理地址 -->
              <value>master:8033</value>
         </property>
        <property>
              <name>yarn.resourcemanager.webapp.address</name>
              <!-- Resource Manager Web地址 -->
              <value>master:8088</value>
         </property>

如下图所示:

编辑完成后,保存退出即可!

配置MapReduce计算框架文件(只在master做)

     在 /opt/hadoop/hadoop/etc/hadoop 子目录下,系统已经有一个 mapred-site.xml.template 文件,我们需要将其复制并改名,位置不变。

执行复制和改名操作命令:

cp /opt/hadoop/hadoop/etc/hadoop/mapred-site.xml.template /opt/hadoop/hadoop/etc/hadoop/mapred-site.xml

可直接创建

     然后用 vi 编辑 mapred-site.xml 文件,需要将下面的代码填充到文件的和之间。

执行命令:

vi /opt/hadoop/hadoop/etc/hadoop/mapred-site.xml

需要在和之间加入的代码:

        <property>
            <name>mapreduce.framework.name</name>
             <!-- MapReduce Framework -->
             <value>yarn</value>
        </property>
        <property>
              <name>mapreduce.jobhistory.address</name>
              <!-- MapReduce JobHistory, 当前计算机的IP -->
              <value>master:10020</value>
         </property>
        <property>
              <name>mapreduce.jobhistory.webapp.address</name>
              <!-- MapReduce Web App JobHistory, 当前计算机的IP -->
              <value>master:19888</value>
        </property>
        <property>
              <name>yarn.app.mapreduce.am.env</name>
              <value>HADOOP_MAPRED_HOME=/opt/hadoop/hadoop</value>
        </property>
        <property>
              <name>mapreduce.map.env</name>
              <value>HADOOP_MAPRED_HOME=/opt/hadoop/hadoop</value>
        </property>
    <property>
              <name>mapreduce.reduce.env</name>
              <value>HADOOP_MAPRED_HOME=/opt/hadoop/hadoop</value>
        </property>

如下图所示:

编辑完毕,保存退出即可!

配置master的slaves文件(只在master做)

    workers 文件给出了Hadoop集群的 slave节点列表,该文件十分的重要,因为启动Hadoop的时候,系统总是根据当前 workers 文件中的 slave 节点名称列表启动集群,不在列表中的 slave 节点便不会被视为计算节点。

执行编辑slaves文件命令:

vi /opt/hadoop/hadoop/etc/hadoop/workers

注意:用vi编辑slaves文件,应该根据读者您自己所搭建集群的实际情况进行编辑。
例如:我这里已经安装了slave1和slave2,并且计划将它们全部投入Hadoop集群运行。

所以应当加入以下代码:

slave1
slave2

如下图所示:

注意:删除slaves文件中原来localhost那一行!

编辑完成,保存退出即可!

相关文章
|
8月前
|
Oracle 关系型数据库 虚拟化
在VMware的Win10虚拟机中安装使用ENSP
本文介绍了在Windows 10虚拟机上安装ENSP及相关软件的全过程,包括VirtualBox、WinPcap、Wireshark、VLC和ENSP的安装步骤,并提供图文演示,帮助用户顺利完成配置与测试。
2268 134
|
7月前
|
Linux 虚拟化 iOS开发
VMware Remote Console 13.0.1 for macOS, Linux, Windows - vSphere 虚拟机控制台的桌面客户端
VMware Remote Console 13.0.1 for macOS, Linux, Windows - vSphere 虚拟机控制台的桌面客户端
1756 0
VMware Remote Console 13.0.1 for macOS, Linux, Windows - vSphere 虚拟机控制台的桌面客户端
|
7月前
|
Linux 虚拟化 iOS开发
VMware Fusion 25H2 OEM BIOS 2.7 - 在 macOS 中运行 Windows 虚拟机的最佳方式
VMware Fusion 25H2 OEM BIOS 2.7 - 在 macOS 中运行 Windows 虚拟机的最佳方式
1692 0
VMware Fusion 25H2 OEM BIOS 2.7 - 在 macOS 中运行 Windows 虚拟机的最佳方式
|
7月前
|
存储 Linux 文件存储
VMware vSphere Replication 9.0.4 - 虚拟机复制和数据保护
VMware vSphere Replication 9.0.4 - 虚拟机复制和数据保护
353 2
|
8月前
|
监控 Linux 网络安全
VMware vCenter Converter 9.0 - P2V 虚拟机转换工具
VMware vCenter Converter 9.0 - P2V 虚拟机转换工具
2741 0
VMware vCenter Converter 9.0 - P2V 虚拟机转换工具
|
虚拟化 数据安全/隐私保护 Linux
|
11月前
|
虚拟化 数据中心
VMware vSphere Replication 9.0.3 - 虚拟机复制和数据保护
VMware vSphere Replication 9.0.3 - 虚拟机复制和数据保护
389 0
|
10月前
|
编解码 网络协议 网络安全
OpenWrt x86 虚拟机VMware ESXi安装
OpenWrt x86 虚拟机VMware ESXi安装

相关实验场景

更多