【hadoop】windows上hadoop测试环境的搭建步骤

一、下载hadoop安装包：

点击下载

解压。

二、下载hadoop在windows中的依赖：

点击下载

下载完成之后，解压，将3.2.2目录下的所有文件替换hadoop的bin目录下的文件：

并将hadoop.dll 文件复制到C:\Windows\System32 目录：

三、配置环境变量：

HADOOP_HOME= D:\cloudwave\hadoop-3.2.2
Path中添加 %HADOOP_HOME%\bin;

四、创建数据目录

在hadoop-3.2.2目录下创建data目录，data目录下创建namenode和datanode存储目录

data\namenode

data\datanode

五、修改hadoop-env.cmd

进入目录 \etc\hadoop

修改hadoop-env.cmd

set JAVA_HOME=D:\v4_dev_env\jdk-8（指定hadoop使用java版本）

JDK使用1.8版本（版本过高可能会不兼容）。

六、修改配置文件

1. etc\hadoop目录，修改hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>H:\\workspace_env\\hadoop-3.2.2\\data\\namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>H:\\workspace_env\\hadoop-3.2.2\\data\\datanode</value>
    </property>
</configuration>

etc\hadoop目录，修改core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

七、启动

1. 进入hadoop-3.2.2\bin目录，以管理员身份打开“命令提示符“
   输入hdfs namenode -format,看到seccessfully就说明format成功。如下图所示：
   

进入hadoop-3.2.2\sbin目录

输入start-dfs.cmd，启动hdfs。

出现以下namenode和datanode窗口

浏览器访问：http://127.0.0.1:9870/

可以看到已经，在windows上运行起来了