Windows 搭建Hadoop 2.7.3开发环境-阿里云开发者社区

开发者社区> 科技小能手> 正文

Windows 搭建Hadoop 2.7.3开发环境

简介:
+关注继续查看

1、安装配置Java环境

1.1、安装Windows版本的jkd应用程序

当前的系统环境是64位Windows 7,因此下载64位JDK,下载地址:http://download.oracle.com/otn-pub/java/jdk/8u151-b12/e758a0de34e24606bca991d704f6dcbf/jdk-8u151-windows-x64.exe

下载后直接点击安装,默认的安装位置为:C:\Java\jdk

1.2、配置Java环境变量

  1. 鼠标右键 "我的电脑"-->"属性"
  2. 点击左边 "高级系统设置"-->"环境变量"
  3. 增加JAVA_HOME变量,在系统变量点击 "新建"
    1. 变量:JAVA_HOME
    2. 变量值:C:\Java\jdk
  4. 在path上增加java安装路径,找到path点击"编辑"
    1. 在最后增加:;%JAVA_HOME%\bin;%JAVA_HOME%\lib;%JAVA_HOME%\jre\bin
  5. 增加CLASSPATH
    1. 变量:CLASSPATH
    2. 变量值:%JAVA_HOME%\lib;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar

java的环境变量设置完成后,在命令提示符输入命令检查:java -version
如果输出java信息说明环境设置完成;

2、安装配置Hadoop

2.1、下载安装Hadoop

下载Hadoop 2.7.3,下载地址:找到2.7.3版本,下载hadoop-2.7.3.tar.gz

将下载的hadoop-2.7.3.tar.gz解压移动到:C:\Usr\local\

2.2、配置Hadoop

2.2.1、配置Hadoop环境变量

  1. 配置Hadoop环境变量:HADOOP_HOME,方法参照java
  2. 新建HADOOP_CONF_DIR变量:变量值:%HADOOP_HOME%\etc\hadoop
  3. 新建YARN_CONF_DIR变量:变量值:%HADOOP_CONF_DIR%
  4. 配置Hadoop path变量:%HADOOP_HOME%/bin

2.2.2、配置Hadoop配置文件

Hadoop配置文件存放在:C:\Usr\local\hadoop-2.7.3\etc\hadoop,在C:\Usr\local\hadoop-2.7.3目录下创建文件夹hdfs/{datanode,namenode}

2.2.2.1、 配置core-site.xml

<configuration>
    <property>
       <name>fs.defaultFS</name>
       <value>hdfs://localhost:9000</value>
   </property>
</configuration>

2.2.2.2、 配置hdfs-site.xml

<configuration>
<property>
       <name>dfs.replication</name>
       <value>1</value>
   </property>
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>/C:/Usr\local/hadoop-2.7.3/hdfs/namenode</value>
   </property>
   <property>
       <name>dfs.datanode.data.dir</name>
     <value>/C:/Usr/local/hadoop-2.7.3/hdfs/datanode</value>
   </property>
</configuration>

2.2.2.3、 配置mapred-site.xml

<configuration>
   <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
</configuration>

2.2.2.4、 配置yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
   <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
   </property>
   <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property
</configuration>

2.2.2.5、 配置slaves

localhost

2.2.2.6、 配置hadoop-env.cmd

将JAVA_HOME修改为:
set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_131并在后面追加如下设置:

set HADOOP_IDENT_STRING=%USERNAME%
set HADOOP_PREFIX=C:\Usr\local\hadoop-2.7.3
set HADOOP_CONF_DIR=%HADOOP_PREFIX%\etc\hadoop
set YARN_CONF_DIR=%HADOOP_CONF_DIR%
set PATH=%PATH%;%HADOOP_PREFIX%\bin

注:C:\PROGRA~1 用于替代 C:\Program Files

2.3、替换Hadoop windows可执行程序

下载winutils相关,hadoop在windows上运行需要winutils支持和hadoop.dll等文件。下载地址下载对应版本的就可以,例如我用的是2.7.3,可以直接下载2.7.1的就好。然后把winutils.exe和hadoop.dll复制到hadoop的bin目录下;

2.4、启动Hadoop

1.格式化HDFS
打开cmd

cd c:\usr\local\hadoop-2.7.3\bin
hdfs namenode -format

2.启动Hadoop
打开cmd

cd c:\usr\local\hadoop-2.7.3\sbin
start-all.cmd

YARN管理界面:http://localhost:8088
HDFS管理界面:http://localhost:50070

3.简单的HDFS操作

查看信息:
hadoop fs -ls hdfs://localhost:9000/

创建目录:
· hadoop fs -lmkdir hdfs://localhost:9000/user/wc·

上传文件:
hadoop fs -put C:\Usr\local\hadoop\LICENSE.txt hdfs://localhost:9000/user/wc                                                                  本文转自 巴利奇 51CTO博客,原文链接:http://blog.51cto.com/balich/2058194

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Windows 10 搭建Redis 集群环境
Windows 10 搭建Redis 集群环境 1、下载最新的redis安装包:redis下载地址 2.解压redis压缩包后,将redis.conf 文件进行修改,修改关键代码如下: [html] view plain copy port 7005 cluster-enabled yes cluster-config-file nodes.
1457 0
Win7 配置Android开发环境
  一、安装 JDK   下载JDK最新版本,下载地址如下:   http://www.oracle.com/technetwork/java/javase/downloads/index.html   这里我下载的是: Java SE Development Kit 6u24 for Windows x64, Multi-language,即这个文件:jdk-6u24-windows-x64.exe   下载后安装。
1183 0
hadoop搭建之hadoop安装
hadoop环境搭建
1158 0
eclipse连接远程hadoop集群开发时报错
<div style="font-family:Arial; font-size:14px; line-height:26px"> <div><strong>eclipse连接远程hadoop集群开发时报错</strong></div> <div><br></div> <div>Exception in thread "main" org.apache.hadoop.security
1157 0
在linux,windows上安装ruby on rails开发环境
ruby是一个非常优秀的语言,ruby的精髓rails可以让web开发的效率成倍的提高,下面就介绍一下我搭建rails环境的过程。windows下搭建ruby rails web开发环境 本篇文章主要是在阿里云的服务器上搭建rails 1.
1836 0
[cocos2d-x]游戏开发系列教程-搭建cocos2d-x的windows开发环境
1.在上一篇中我们成功运行了HelloCpp和TestCpp工程,我们到目录cocos2d-x-2.2.1\Debug.win32下 查看生成的文件,在我电脑上绝对路径是H:\source\cocos2d-x-2.2.1\Debug.win32。
808 0
在windows平台下使用vscode当golang开发环境的配置
一、使用的平台与软件: 1、window 7 或者10,注意必须是64位,否则不能使用delve debug 2、go1.11.5.windows-amd64.msi 3、Git-2.20.1-64-bit.exe 4、VSCodeUserSetup-x64-1.31.1.exe 二、安装git,golang,vscode git软件全部使用缺省配置即可,安装完成后也不需要做太多配置; golang一般缺省安装在C:\go下 重点是需要设置GOPATH的环境变量。
2811 0
23706
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载