一、实验目的
- 理解HDFS架构和工作原理
- 掌握HDFS部署环境和步骤
- 掌握HDFS(集群的启动start-dfs.sh)启动
- 使用Hadoop命令(文件的增/删/改/查/上传/下载)来操作分布式文件系统
二、实验内容
- HDFS伪分布式环境搭建
- HDFS(集群的启动start-dfs.sh)启动
- 练习Hadoop命令(文件的增/删/改/查/上传/下载)来操作分布式文件系统
三、实验步骤
使用tar解压命令,将已经下载好的hadoop安装包进行解压。
执行过程及结果:
1.进入软件包目录
1. root@evassh-10644553:~# cd /data/workspace/myshixun/ 2. root@evassh-10644553:/data/workspace/myshixun#
2.查看软件包(通过LS命令可以看到jdk这个安装包)
1. root@evassh-10644553:/data/workspace/myshixun# ls hadoop-2.8.3.tar.gz 2. root@evassh-10644553:/data/workspace/myshixun#
3.将软件包解压到/opt目录下(tar命令是解压命令,-C参数是指定解压位置)
1. root@evassh-10644553:/data/workspace/myshixun# tar -zxf hadoop-2.7.1.tar.gz -C /opt 2. root@evassh-10644553:/data/workspace/myshixun#
4.查看是否解压成功
1. root@evassh-10644553:/data/workspace/myshixun# ls /opt hadoop-2.8.3 2. root@evassh-10644553:/data/workspace/myshixun#
5.将目录切换到root用户的家目录
1. root@evassh-10644553:/data/workspace/myshixun# cd 2. root@evassh-10644553:~#
配置环境变量
配置环境变量的目的是为了能够在全局使用hadoop或者hdfs等相关的命令。
1.使用vi命令编辑环境变量文件
root@evassh-10644553:~# vi /etc/profile
输入完成该命令后会进入文档内部,如下图
2.按↓箭头将白色光标移动到最下面,如下图标红出所示
3.确保当前输入法在英文状态下后,按下小写i键,按下后如下图标红处所示出现--INSERT--字符,表示已经进入文档编辑模式,可以编辑该文档了
4.按照下图红色框内输入的内容,完成配置
5.输入完成后,按下键盘上的esc键,退出编辑模式,按下后,可以看到--INSERT--字符已经没有了
6.确保当前输入法在英文状态下后,输入:wq 保存文件并且退出文件
回车后,就可以看到已经退出文件编辑
7.生效环境编辑
root@evassh-10644553:~#source /etc/profile root@evassh-10644553:~#
8.测试,单输入h字母后,快速按下键盘上面的TAB键,会返回如下结果
root@evassh-10644553:~# h
root@evassh-10644553:~# h
从上面的返回结果中我们可以看到有hadoop和hdfs开头的很多命令,如果TAB后没有hadoop和hdfs开头的命令则环境变量配置错误。
修改HDFS的core-site.xml文件
core-site.xml文件主要是指定默认文件系统为 HDFS 和 Namenode 所在节点。
1.编辑core-site.xml
root@evassh-10644553:~# vi /opt/hadoop-2.7.1/etc/hadoop/core-site.xml
输入完成该命令后会进入文档内部,如图
2.按↓箭头将白色光标移动到最下面,如下图标红出所示
3.确保当前输入法在英文状态下后,按下小写i键,按下后如下图标红处所示出现--INSERT--字符,表示已经进入文档编辑模式,可以编辑该文档了
4.按照下图红色框内输入的内容,完成配置
一定要再三核对该内容,否则后面会报错
5.输入完成后,按下键盘上的esc键,退出编辑模式,按下后,可以看到--INSERT--字符已经没有了