Windows本地安装Hadoop

简介: Windows本地安装Hadoop

0x00 文章内容


  1. 下载并解压
  2. 配置执行环境


0x01 下载并解压


1. 下载Hadoop安装包

a. 此步骤略过

2. 解压Hadoop安装包

a. 如果你的Win系统当前用户不是管理员用户,为了保险起见,需要“以管理员身份运行”打开你的解压软件,然后用其解压Hadoop安装包。


image.png


此处路径为D:\software_win\,不然会多一层文件夹。


image.png


b. 本教程解压的路径为:D:\software_win\hadoop-2.7.5


0x02 配置执行环境


1. 配置环境变量

步骤与安装JAVA时一样,如果不会那就真的太悲催了!传送门:JDK8的安装与配置(win版本)

a. 配置环境变量HADOOP_HOME



image.png


b. 将HADOOP_HOME/bin配置到Path中


image.png


2. 拷贝相关文件到相应目录

a. 将hadoop.dlllibwinutils.lib以及winutils.exe三个文件放到HADOOP_HOME/bin中


微信图片_20220618222705.png


b. 此三个文件获取途径:


0x03 配改配置文件


1. 修改core-site.xml
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  <description>表示HDFS的基本路径</description>
</property>


image.png


提示:3.x版本的配置为( name 标签配置有区别):


<property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
</property>


2. 修改hdfs-site.xml
<configuration>
     <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
     <property> 
      <name>dfs.permissions</name> 
      <value>false</value> 
     </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/D:/software_win/hadoop-2.7.5/tmp/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/D:/software_win/hadoop-2.7.5/tmp/datanode</value>
    </property>
</configuration>


微信图片_20220618222801.png


PS:

1、注意 configuration 标签。

2、可以将 dfs.namenode.name.dir 和 dfs.datanode.data.dir 路径修改一下。

3、 配置说明:dfs.permissions = true

如果是 true,则打开前文所述的权限系统。

如果是 false,权限检查就是关闭的,但是其他的行为没有改变。


0x04 格式化并启动HDFS


1. 格式化HDFS

进入 bin 目录,执行:

hdfs namenode -format


image.png


2. 启动HDFS

进入 sbin 目录,执行:

start-dfs.cmd


image.png


执行之后,会弹出两个窗口:


微信图片_20220618222929.png


注意:不可以关掉启动之后打开的两个窗口!


0x05 检验结果


1. 查看WebUI页面

微信图片_20220618222934.png


2. 执行简单的HDFS命令

image.png


3. 直接在执行结果

说明:此操作为在IDEA中操作,如不相关,可以不看!

a. 发现在IDEA中执行作业,控制台已经不会再报错。如果还是报错,请重启一下电脑!应该就可以了,本人也是重启了之后才行的。


微信图片_20220618223022.png


0xFF 总结


  1. 此教程在平时测试中会用到,而且在本博主的实战项目案例中也有用到:网站用户行为分析项目之会话切割(二)
  2. 当然,不配置其实也可以的,不碍事,就是平时可能会麻烦一点而已。
  3. 如果配置后还不行,请重启一下电脑,应该就行了。
相关文章
|
10天前
|
存储 Cloud Native Java
Windows下Minio的安装以及基本使用
MinIO 是一个开源的云原生分布式对象存储系统,兼容亚马逊S3接口,适合存储大容量非结构化数据。本文介绍Windows下MinIO的安装与基本使用:通过以上步骤,您可以在Windows环境中成功安装并使用MinIO。
72 17
|
27天前
|
关系型数据库 MySQL 数据库
【MySQL基础篇】MySQL概述、Windows下载MySQL8.0超详细图文安装教程
在这一章节,主要介绍两个部分,数据库相关概念及MySQL数据库的介绍、下载、安装、启动及连接。接着,详细描述了MySQL 8.0的版本选择与下载,推荐使用社区版(免费)。安装过程包括自定义安装路径、配置环境变量、启动和停止服务、以及客户端连接测试。此外,还提供了在同一台电脑上安装多个MySQL版本的方法及卸载步骤。最后,解释了关系型数据库(RDBMS)的特点,即基于二维表存储数据,使用SQL语言进行操作,格式统一且便于维护。通过具体的结构图展示了MySQL的数据模型,说明了数据库服务器、数据库、表和记录之间的层次关系。
【MySQL基础篇】MySQL概述、Windows下载MySQL8.0超详细图文安装教程
|
23天前
|
安全 关系型数据库 MySQL
Windows Server 安装 MySQL 8.0 详细指南
安装 MySQL 需要谨慎,特别注意安全配置和权限管理。根据实际业务需求调整配置,确保数据库的性能和安全。
120 9
|
1月前
|
机器学习/深度学习 并行计算 异构计算
WINDOWS安装eiseg遇到的问题和解决方法
通过本文的详细步骤和问题解决方法,希望能帮助你顺利在 Windows 系统上安装和运行 EISeg。
103 2
|
2月前
|
网络安全 Windows
Windows server 2012R2系统安装远程桌面服务后无法多用户同时登录是什么原因?
【11月更文挑战第15天】本文介绍了在Windows Server 2012 R2中遇到的多用户无法同时登录远程桌面的问题及其解决方法,包括许可模式限制、组策略配置问题、远程桌面服务配置错误以及网络和防火墙问题四个方面的原因分析及对应的解决方案。
153 4
|
2月前
|
NoSQL Linux PHP
如何在不同操作系统上安装 Redis 服务器,包括 Linux 和 Windows 的具体步骤
本文介绍了如何在不同操作系统上安装 Redis 服务器,包括 Linux 和 Windows 的具体步骤。接着,对比了两种常用的 PHP Redis 客户端扩展:PhpRedis 和 Predis,详细说明了它们的安装方法及优缺点。最后,提供了使用 PhpRedis 和 Predis 在 PHP 中连接 Redis 服务器及进行字符串、列表、集合和哈希等数据类型的基本操作示例。
99 4
|
3月前
|
数据安全/隐私保护 Windows
安装 Windows Server 2019
安装 Windows Server 2019
|
3月前
|
Windows
安装 Windows Server 2003
安装 Windows Server 2003
|
3月前
|
NoSQL Shell MongoDB
Windows 平台安装 MongoDB
10月更文挑战第10天
77 0
Windows 平台安装 MongoDB
|
3月前
|
Windows Python
Windows安装dlib,遇到问题汇总解决
Windows安装dlib,遇到问题汇总解决
146 4