0x00 文章内容
- 下载并解压
- 配置执行环境
0x01 下载并解压
1. 下载Hadoop安装包
a. 此步骤略过
2. 解压Hadoop安装包
a. 如果你的Win系统当前用户不是管理员用户,为了保险起见,需要“以管理员身份运行”打开你的解压软件,然后用其解压Hadoop安装包。
此处路径为D:\software_win\
,不然会多一层文件夹。
b. 本教程解压的路径为:D:\software_win\hadoop-2.7.5
0x02 配置执行环境
1. 配置环境变量
步骤与安装JAVA时一样,如果不会那就真的太悲催了!传送门:JDK8的安装与配置(win版本)
a. 配置环境变量HADOOP_HOME
b. 将HADOOP_HOME/bin配置到Path中
2. 拷贝相关文件到相应目录
a. 将hadoop.dll
、libwinutils.lib
以及winutils.exe
三个文件放到HADOOP_HOME/bin中
b. 此三个文件获取途径:
- 软件下载链接:Windows本地安装Hadoop所需文件.zip
- 联系博主获取
0x03 配改配置文件
1. 修改core-site.xml
<property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> <description>表示HDFS的基本路径</description> </property>
提示:3.x版本的配置为( name
标签配置有区别):
<property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property>
2. 修改hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/D:/software_win/hadoop-2.7.5/tmp/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/D:/software_win/hadoop-2.7.5/tmp/datanode</value> </property> </configuration>
PS:
1、注意 configuration 标签。
2、可以将 dfs.namenode.name.dir 和 dfs.datanode.data.dir 路径修改一下。
3、 配置说明:dfs.permissions = true
如果是 true,则打开前文所述的权限系统。
如果是 false,权限检查就是关闭的,但是其他的行为没有改变。
0x04 格式化并启动HDFS
1. 格式化HDFS
进入 bin
目录,执行:
hdfs namenode -format
2. 启动HDFS
进入 sbin
目录,执行:
start-dfs.cmd
执行之后,会弹出两个窗口:
注意:不可以关掉启动之后打开的两个窗口!
0x05 检验结果
1. 查看WebUI页面
2. 执行简单的HDFS命令
3. 直接在执行结果
说明:此操作为在IDEA中操作,如不相关,可以不看!
a. 发现在IDEA中执行作业,控制台已经不会再报错。如果还是报错,请重启一下电脑!应该就可以了,本人也是重启了之后才行的。
0xFF 总结
- 此教程在平时测试中会用到,而且在本博主的实战项目案例中也有用到:网站用户行为分析项目之会话切割(二)
- 当然,不配置其实也可以的,不碍事,就是平时可能会麻烦一点而已。
- 如果配置后还不行,请重启一下电脑,应该就行了。