Hadoop3.2.2安装 windows版

1、下载安装包

[https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz
](https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz)

2、下载windows下使用hadoop需要的工具 winutils.exe 和 hadoop.dll

[https://github.com/cdarlint/winutils/tree/master/hadoop-3.2.2/bin
](https://github.com/cdarlint/winutils/tree/master/hadoop-3.2.2/bin)

放入hadoop bin 目录下即可

3、配置环境变量

4、配置 配置文件

在data目录下，创建两目录 namenode，datanode，

4.1、进入etc/hadoop目录

4.2、修改core-site.xml

<configuration>
    <property>
        <name>fs.default.name</name>
      <value>hdfs://localhost:9000</value>
     </property>
     <property>
      <name>hadoop.tmp.dir</name>
      <value>/E:/bigData/hadoop-3.2.2/data/tmp</value>
     </property>
</configuration>

        

          
        
        
        

          

          AI 代码解读
        
      
      

4.3 修改mapred-site.xml

<configuration>
   <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
</configuration>

        

          
        
        
        

          

          AI 代码解读
        
      
      

4.4 修改yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
   </property>
   <property>
          <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>  
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property>

</configuration>

        

          
        
        
        

          

          AI 代码解读
        
      
      

4.5、修改hdfs-site.xml

<configuration>
   <!-- 这个参数设置为1，因为是单机版hadoop -->
   <property>
       <name>dfs.replication</name>
       <value>1</value>
   </property>
       <property> 
        <name>dfs.permissions</name> 
        <value>false</value> 
     </property>
      <property>
          <name>dfs.namenode.name.dir</name>
          <value>/E:/bigData/hadoop-3.2.2/data/namenode</value>
      </property>
      <property>
           <name>fs.checkpoint.dir</name>
           <value>/E:/bigData/hadoop-3.2.2/data/snn</value>
       </property>
       <property>
           <name>fs.checkpoint.edits.dir</name>
           <value>/E:/bigData/hadoop-3.2.2/data/snn</value>
       </property>
          <property>
          <name>dfs.datanode.data.dir</name>
          <value>/E:/bigData/hadoop-3.2.2/data/datanode</value>
      </property>
</configuration>

        

          
        
        
        

          

          AI 代码解读
        
      
      

5、找到hadoop-env.cmd 配置jdk路径

编辑

注意：javahome原路径为下图， 这里将 Program Files 替换为了 PROGRA~ 替代。 路径不能出现空格

6、格式化，启动

6.1、以管理员 打开cmd

6.2、进入hadoop bin目录

6.3 、进入hadoop sbin目录

执行 start-all.cmd

此时可以看到同时启动了如下4个服务：
Hadoop Namenode
Hadoop datanode
YARN Resourc Manager
YARN Node Manager

7、HDFS应用

http://127.0.0.1:8088/ 即可查看集群所有节点状态：

访问 http://localhost:9870/ 即可查看文件管理页面：

8、DataNode启动问题

ERROR datanode.DataNode: Initialization failed for Block pool (Datanode Uuid unassigned) service to IP1:8020 Invalid volume failure config value: 1

FATAL datanode.DataNode: Initialization failed for Block pool (Datanode Uuid unassigned) service to IP1:8020. Exiting.
org.apache.hadoop.util.DiskChecker$DiskErrorException: Invalid volume failure config value: 1

原因是datanode只配置了一个数据目录，

并且hdfs-site.xml的dfs.datanode.failed.volumes.tolerated设置成了1.

修改方法：dfs.datanode.failed.volumes.tolerated 设置成0