云计算与大数据实验三 HDFS的基本操作(上)

简介: 云计算与大数据实验三 HDFS的基本操作

一、实验目的

  1. 理解HDFS架构和工作原理
  2. 掌握HDFS部署环境和步骤
  3. 掌握HDFS(集群的启动start-dfs.sh)启动
  4. 使用Hadoop命令(文件的增////上传/下载)来操作分布式文件系统

二、实验内容

  1. HDFS伪分布式环境搭建
  2. HDFS(集群的启动start-dfs.sh)启动
  3. 练习Hadoop命令(文件的增////上传/下载)来操作分布式文件系统

三、实验步骤

使用tar解压命令,将已经下载好的hadoop安装包进行解压。

执行过程及结果:

1.进入软件包目录

1. root@evassh-10644553:~# cd /data/workspace/myshixun/ 
2. root@evassh-10644553:/data/workspace/myshixun#

2.查看软件包(通过LS命令可以看到jdk这个安装包)

1. root@evassh-10644553:/data/workspace/myshixun# ls hadoop-2.8.3.tar.gz 
2. root@evassh-10644553:/data/workspace/myshixun#

3.将软件包解压到/opt目录下(tar命令是解压命令,-C参数是指定解压位置)

1. root@evassh-10644553:/data/workspace/myshixun# tar -zxf hadoop-2.7.1.tar.gz -C /opt 
2. root@evassh-10644553:/data/workspace/myshixun#

4.查看是否解压成功

1. root@evassh-10644553:/data/workspace/myshixun# ls /opt hadoop-2.8.3 
2. root@evassh-10644553:/data/workspace/myshixun#

5.将目录切换到root用户的家目录

1. root@evassh-10644553:/data/workspace/myshixun# cd 
2. root@evassh-10644553:~#

配置环境变量

配置环境变量的目的是为了能够在全局使用hadoop或者hdfs等相关的命令。

1.使用vi命令编辑环境变量文件

root@evassh-10644553:~# vi /etc/profile

输入完成该命令后会进入文档内部,如下图

2.按↓箭头将白色光标移动到最下面,如下图标红出所示

3.确保当前输入法在英文状态下后,按下小写i键,按下后如下图标红处所示出现--INSERT--字符,表示已经进入文档编辑模式,可以编辑该文档了

4.按照下图红色框内输入的内容,完成配置

5.输入完成后,按下键盘上的esc键,退出编辑模式,按下后,可以看到--INSERT--字符已经没有了

6.确保当前输入法在英文状态下后,输入:wq 保存文件并且退出文件

回车后,就可以看到已经退出文件编辑

7.生效环境编辑

root@evassh-10644553:~#source /etc/profile root@evassh-10644553:~#

8.测试,单输入h字母后,快速按下键盘上面的TAB键,会返回如下结果

root@evassh-10644553:~# h

root@evassh-10644553:~# h

从上面的返回结果中我们可以看到有hadoop和hdfs开头的很多命令,如果TAB后没有hadoop和hdfs开头的命令则环境变量配置错误。

修改HDFS的core-site.xml文件

core-site.xml文件主要是指定默认文件系统为 HDFS 和 Namenode 所在节点。

1.编辑core-site.xml

root@evassh-10644553:~# vi /opt/hadoop-2.7.1/etc/hadoop/core-site.xml

输入完成该命令后会进入文档内部,如图 

2.按↓箭头将白色光标移动到最下面,如下图标红出所示

3.确保当前输入法在英文状态下后,按下小写i键,按下后如下图标红处所示出现--INSERT--字符,表示已经进入文档编辑模式,可以编辑该文档了

4.按照下图红色框内输入的内容,完成配置

一定要再三核对该内容,否则后面会报错

5.输入完成后,按下键盘上的esc键,退出编辑模式,按下后,可以看到--INSERT--字符已经没有了

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
存储 弹性计算 分布式计算
云端智链:挖掘云计算中的大数据潜能
云端智链:挖掘云计算中的大数据潜能
391 21
|
安全 大数据 虚拟化
随着云计算和大数据技术的发展,Hyper-V在虚拟化领域的地位日益凸显
随着云计算和大数据技术的发展,Hyper-V在虚拟化领域的地位日益凸显。作为Windows Server的核心组件,Hyper-V具备卓越的技术性能,支持高可用性、动态迁移等功能,确保虚拟机稳定高效运行。它与Windows深度集成,管理便捷,支持远程管理和自动化部署,降低管理成本。内置防火墙、RBAC等安全功能,提供全方位安全保障。作为内置组件,Hyper-V无需额外购买软件,降低成本。其广泛的生态系统支持和持续增长的市场需求,使其成为企业虚拟化解决方案的首选。
|
存储 分布式计算 大数据
大数据与云计算:无缝结合,开启数据新纪元
大数据与云计算:无缝结合,开启数据新纪元
1012 11
|
人工智能 大数据
阿里云云计算ACA、大数据ACA、人工智能ACA三门认证升级调整公告
阿里云云计算ACA、大数据ACA、人工智能ACA三门认证升级调整公告
|
机器学习/深度学习 存储 大数据
云计算与大数据技术的融合应用
云计算与大数据技术的融合应用
|
存储 弹性计算 分布式计算
云计算在大数据处理中的优势与挑战
云计算在大数据处理中的优势与挑战
|
存储 人工智能 大数据
物联网、大数据、云计算、人工智能之间的关系
物联网、大数据、云计算、人工智能之间的关系是紧密相连、相互促进的。这四者既有各自独立的技术特征,又能在不同层面上相互融合,共同推动信息技术的发展和应用。
4360 0
|
XML 存储 分布式计算
【赵渝强老师】史上最详细:Hadoop HDFS的体系架构
HDFS(Hadoop分布式文件系统)由三个核心组件构成:NameNode、DataNode和SecondaryNameNode。NameNode负责管理文件系统的命名空间和客户端请求,维护元数据文件fsimage和edits;DataNode存储实际的数据块,默认大小为128MB;SecondaryNameNode定期合并edits日志到fsimage中,但不作为NameNode的热备份。通过这些组件的协同工作,HDFS实现了高效、可靠的大规模数据存储与管理。
1909 70
|
分布式计算 Kubernetes Hadoop
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
大数据-82 Spark 集群模式启动、集群架构、集群管理器 Spark的HelloWorld + Hadoop + HDFS
1290 6

热门文章

最新文章