windows下安装hadoop

简介: 一直想玩一下hadoop,看到hadoop早就支持了windows,就参考网上的文档自己搭了一套,还在学习中,如有错误,欢迎指正。

安装hadoop

  1. 安装好java
  2. 下载并解压hadoop-2.7.4.tar.gz
  3. 创建HADOOP_HOME环境变量
  4. 下载hadoop.dll和winutils,下载地址如下:windows环境下hadoop依赖。下载完毕后放到hadoop安装目录的bin文件夹下
  5. 到hadoop安装目录,创建data文件夹,然后在data下分别创建datanode、namenode两个文件夹
  6. 配置基本已经完成,如果你想改访问路径,可以到etc/hadoop目录下的core-site.xml文件修改:
<configuration>
 <property>
   <name>fs.defaultFS</name>
   <value>hdfs://localhost:9000</value>
 </property>
</configuration>

运行hadoop

  1. 切换到etc/hadoop目录,运行hadoop-env.cmd
  2. 切换到bin目录然后,格式化HDFS文件系统,执行命令:hdfs namenode -format
  3. 到这里,你的hadoop就可以正常使用了。可以查看一下版本,bin目录执行 hadoop version
  4. 启动 cd到hadoop的sbin目录,运行start-all.cmd
  5. 在浏览器中输入 http:\localhost:50070打开hadoop的web管理网页即可。

参考文档:windows下部署Hadoop2.7.4

目录
相关文章
|
1天前
|
并行计算 TensorFlow 算法框架/工具
Windows10下CUDA9.0+CUDNN7.0.5的完美安装教程
该文介绍了如何在Windows 10上安装CUDA 9.0和cuDNN 7.0.5以支持Tensorflow-gpu 1.10.0。首先,解释了安装CUDA的原因,然后详细步骤包括:从NVIDIA官网下载CUDA 9.0,选择自定义安装并关闭不必要的组件,检查显卡驱动版本以决定是否安装Display Driver,最后确认安装成功。接着,下载cuDNN需要注册NVIDIA账户,解压后将文件复制到CUDA安装目录。整个过程旨在确保与Tensorflow-gpu 1.10.0的兼容性。
16 2
|
3天前
|
分布式计算 资源调度 Hadoop
安装hadoop学习笔记
安装hadoop学习笔记
14 0
安装hadoop学习笔记
|
3天前
|
Windows
Windows 系统下安装
在Windows上安装Julia,从官网下载安装程序。32位版本兼容32/64位系统,但64位仅用于64位Windows。运行安装向导,简单点击Next,建议选中添加到PATH选项。完成后,Julia将可在终端使用,默认路径如C:\Users\BAIDU\AppData\Local\Programs\Julia 1.7.2。
|
3天前
|
并行计算 Windows
23.10.02更新 Windows下CUDA和CUDNN的安装和配置(图多详细)
23.10.02更新 Windows下CUDA和CUDNN的安装和配置(图多详细)
11 1
|
3天前
|
并行计算 Ubuntu TensorFlow
23.10.02更新 windows系统下的Tensorflow安装(图多详细)
23.10.02更新 windows系统下的Tensorflow安装(图多详细)
11 0
23.10.02更新 windows系统下的Tensorflow安装(图多详细)
|
4天前
|
安全 测试技术 数据库
达梦数据库Windows安装教程:从准备到完成
达梦数据库Windows安装教程:从准备到完成
|
4天前
|
安全 虚拟化 Windows
手把手教你如何在虚拟机上安装Windows 10
手把手教你如何在虚拟机上安装Windows 10
|
4天前
|
NoSQL Linux Redis
Redis的介绍,以及Redis的安装(本机windows版,虚拟机Linux版)和Redis常用命令的介绍
Redis的介绍,以及Redis的安装(本机windows版,虚拟机Linux版)和Redis常用命令的介绍
17 0
|
4天前
|
编解码 安全 关系型数据库
祝福CSDN的小伙伴2024年快乐!Windows7安装MySQL
祝福CSDN的小伙伴2024年快乐!Windows7安装MySQL
|
5天前
|
SQL Windows
保姆级:Windows Server 2012上安装.NET Framework 3.5
保姆级:Windows Server 2012上安装.NET Framework 3.5