Windows本地安装Hadoop

简介: Windows本地安装Hadoop

0x00 文章内容


  1. 下载并解压
  2. 配置执行环境


0x01 下载并解压


1. 下载Hadoop安装包

a. 此步骤略过

2. 解压Hadoop安装包

a. 如果你的Win系统当前用户不是管理员用户,为了保险起见,需要“以管理员身份运行”打开你的解压软件,然后用其解压Hadoop安装包。


image.png


此处路径为D:\software_win\,不然会多一层文件夹。


image.png


b. 本教程解压的路径为:D:\software_win\hadoop-2.7.5


0x02 配置执行环境


1. 配置环境变量

步骤与安装JAVA时一样,如果不会那就真的太悲催了!传送门:JDK8的安装与配置(win版本)

a. 配置环境变量HADOOP_HOME



image.png


b. 将HADOOP_HOME/bin配置到Path中


image.png


2. 拷贝相关文件到相应目录

a. 将hadoop.dlllibwinutils.lib以及winutils.exe三个文件放到HADOOP_HOME/bin中


微信图片_20220618222705.png


b. 此三个文件获取途径:


0x03 配改配置文件


1. 修改core-site.xml
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  <description>表示HDFS的基本路径</description>
</property>


image.png


提示:3.x版本的配置为( name 标签配置有区别):


<property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
</property>


2. 修改hdfs-site.xml
<configuration>
     <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
     <property> 
      <name>dfs.permissions</name> 
      <value>false</value> 
     </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/D:/software_win/hadoop-2.7.5/tmp/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/D:/software_win/hadoop-2.7.5/tmp/datanode</value>
    </property>
</configuration>


微信图片_20220618222801.png


PS:

1、注意 configuration 标签。

2、可以将 dfs.namenode.name.dir 和 dfs.datanode.data.dir 路径修改一下。

3、 配置说明:dfs.permissions = true

如果是 true,则打开前文所述的权限系统。

如果是 false,权限检查就是关闭的,但是其他的行为没有改变。


0x04 格式化并启动HDFS


1. 格式化HDFS

进入 bin 目录,执行:

hdfs namenode -format


image.png


2. 启动HDFS

进入 sbin 目录,执行:

start-dfs.cmd


image.png


执行之后,会弹出两个窗口:


微信图片_20220618222929.png


注意:不可以关掉启动之后打开的两个窗口!


0x05 检验结果


1. 查看WebUI页面

微信图片_20220618222934.png


2. 执行简单的HDFS命令

image.png


3. 直接在执行结果

说明:此操作为在IDEA中操作,如不相关,可以不看!

a. 发现在IDEA中执行作业,控制台已经不会再报错。如果还是报错,请重启一下电脑!应该就可以了,本人也是重启了之后才行的。


微信图片_20220618223022.png


0xFF 总结


  1. 此教程在平时测试中会用到,而且在本博主的实战项目案例中也有用到:网站用户行为分析项目之会话切割(二)
  2. 当然,不配置其实也可以的,不碍事,就是平时可能会麻烦一点而已。
  3. 如果配置后还不行,请重启一下电脑,应该就行了。
相关文章
|
2月前
|
iOS开发 MacOS Windows
Mac air使用Boot Camp安装win10 ,拷贝 Windows 文件时出错
Mac air使用Boot Camp安装win10 ,拷贝 Windows 文件时出错
|
1月前
|
数据安全/隐私保护 Windows
安装 Windows Server 2019
安装 Windows Server 2019
|
1月前
|
Windows
安装 Windows Server 2003
安装 Windows Server 2003
|
1月前
|
NoSQL Shell MongoDB
Windows 平台安装 MongoDB
10月更文挑战第10天
41 0
Windows 平台安装 MongoDB
|
1月前
|
Windows Python
Windows安装dlib,遇到问题汇总解决
Windows安装dlib,遇到问题汇总解决
31 4
|
1月前
|
SQL 分布式计算 Hadoop
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
Hadoop-12-Hive 基本介绍 下载安装配置 MariaDB安装 3台云服务Hadoop集群 架构图 对比SQL HQL
60 3
|
1月前
|
Oracle 关系型数据库 MySQL
Mysql(1)—简介及Windows环境下载安装
MySQL 是一个流行的关系型数据库管理系统(RDBMS),基于 SQL 进行操作。它由瑞典 MySQL AB 公司开发,后被 Sun Microsystems 收购,现为 Oracle 产品。MySQL 是最广泛使用的开源数据库之一,适用于 Web 应用程序、数据仓库和企业应用。
55 2
|
1月前
|
JavaScript Windows
windows安装vue
windows安装vue
|
1月前
|
应用服务中间件 Apache Windows
免安装版的Tomcat注册为windows服务
免安装版的Tomcat注册为windows服务
111 3
|
23天前
|
Linux 网络安全 虚拟化
适用于Linux的Windows子系统(WSL1)的安装与使用记录
并放到启动文件夹,就可以开机自动启动了。
28 0