Windows本地安装Hadoop

简介: Windows本地安装Hadoop

0x00 文章内容


  1. 下载并解压
  2. 配置执行环境


0x01 下载并解压


1. 下载Hadoop安装包

a. 此步骤略过

2. 解压Hadoop安装包

a. 如果你的Win系统当前用户不是管理员用户,为了保险起见,需要“以管理员身份运行”打开你的解压软件,然后用其解压Hadoop安装包。


image.png


此处路径为D:\software_win\,不然会多一层文件夹。


image.png


b. 本教程解压的路径为:D:\software_win\hadoop-2.7.5


0x02 配置执行环境


1. 配置环境变量

步骤与安装JAVA时一样,如果不会那就真的太悲催了!传送门:JDK8的安装与配置(win版本)

a. 配置环境变量HADOOP_HOME



image.png


b. 将HADOOP_HOME/bin配置到Path中


image.png


2. 拷贝相关文件到相应目录

a. 将hadoop.dlllibwinutils.lib以及winutils.exe三个文件放到HADOOP_HOME/bin中


微信图片_20220618222705.png


b. 此三个文件获取途径:


0x03 配改配置文件


1. 修改core-site.xml
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  <description>表示HDFS的基本路径</description>
</property>


image.png


提示:3.x版本的配置为( name 标签配置有区别):


<property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
</property>


2. 修改hdfs-site.xml
<configuration>
     <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
     <property> 
      <name>dfs.permissions</name> 
      <value>false</value> 
     </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/D:/software_win/hadoop-2.7.5/tmp/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/D:/software_win/hadoop-2.7.5/tmp/datanode</value>
    </property>
</configuration>


微信图片_20220618222801.png


PS:

1、注意 configuration 标签。

2、可以将 dfs.namenode.name.dir 和 dfs.datanode.data.dir 路径修改一下。

3、 配置说明:dfs.permissions = true

如果是 true,则打开前文所述的权限系统。

如果是 false,权限检查就是关闭的,但是其他的行为没有改变。


0x04 格式化并启动HDFS


1. 格式化HDFS

进入 bin 目录,执行:

hdfs namenode -format


image.png


2. 启动HDFS

进入 sbin 目录,执行:

start-dfs.cmd


image.png


执行之后,会弹出两个窗口:


微信图片_20220618222929.png


注意:不可以关掉启动之后打开的两个窗口!


0x05 检验结果


1. 查看WebUI页面

微信图片_20220618222934.png


2. 执行简单的HDFS命令

image.png


3. 直接在执行结果

说明:此操作为在IDEA中操作,如不相关,可以不看!

a. 发现在IDEA中执行作业,控制台已经不会再报错。如果还是报错,请重启一下电脑!应该就可以了,本人也是重启了之后才行的。


微信图片_20220618223022.png


0xFF 总结


  1. 此教程在平时测试中会用到,而且在本博主的实战项目案例中也有用到:网站用户行为分析项目之会话切割(二)
  2. 当然,不配置其实也可以的,不碍事,就是平时可能会麻烦一点而已。
  3. 如果配置后还不行,请重启一下电脑,应该就行了。
相关文章
|
7月前
|
人工智能 JavaScript 开发工具
极速上手!Claude Code 原生支持 Windows 免WSL安装教程
Claude Code 现已支持 Windows 原生运行,无需 WSL 配置。本文提供详细安装教程,涵盖 Node.js 环境验证、Git 安装及 Claude Code 配置步骤,助你快速上手这一强大 AI 编程工具。
9234 7
|
7月前
|
存储 虚拟化 Windows
VMware安装Windows10
本案例介绍了在Windows系统上使用VMware Workstation 17.5 Pro安装配置Windows 10虚拟机的详细步骤,包括所需设备、软件下载链接、虚拟机设置及系统安装全过程。
4927 134
VMware安装Windows10
|
8月前
|
Ubuntu Unix Linux
在Windows上轻松安装和使用Ubuntu的方法详解
继续点击“Continue”按钮以继续安装流程,随后选择清理磁盘并安装操作系统的选项。 接下来,在安装过程中,你需要选择时区。为了与你的地理位置相匹配,请选择中国上海作为你的时区设置。 在安装过程中,你还需要设置计算机的名称以及账号密码。请务必牢记这些信息,因为它们将作为你登录系统的凭证。
|
6月前
|
安全 Ubuntu iOS开发
Nessus Professional 10.10 Auto Installer for Windows - Nessus 自动化安装程序
Nessus Professional 10.10 Auto Installer for Windows - Nessus 自动化安装程序
266 3
Nessus Professional 10.10 Auto Installer for Windows - Nessus 自动化安装程序
|
7月前
|
安全 数据安全/隐私保护 Windows
ZyperWin++使用教程!让Windows更丝滑!c盘飘红一键搞定!ZyperWin++解决系统优化、Office安装和系统激活
ZyperWin++是一款仅5MB的开源免费Windows优化工具,支持快速优化、自定义设置与垃圾清理,兼具系统加速、隐私保护、Office安装等功能,轻便无广告,小白也能轻松上手,是提升电脑性能的全能管家。
2156 0
|
9月前
|
运维 Linux 虚拟化
VMware虚拟机安装教程,Windows下安装VMware虚拟机,附VMware下载,Windows各版本系统镜像下载
虚拟机技术允许一台物理机运行多个操作系统,提升资源利用率,节省成本。通过快照、克隆等功能,实现系统快速恢复与复制,提高运维效率。本文详细介绍VMware虚拟机的安装步骤、Windows镜像下载及系统安装激活流程,适合初学者快速入门。
11636 0
|
9月前
|
C语言 图形学 Windows
Windows下安装和配置GTK4(基于CLion)
本文介绍了作者选择GTK作为C语言图形库的原因,包括代码简洁、控件丰富和界面美观,并分享了在Windows环境下通过MSYS2安装GTK4及在CLion中配置开发环境的详细步骤。
989 0

相关实验场景

更多
下一篇
开通oss服务