云计算与大数据实验三 HDFS的基本操作(上)

简介: 云计算与大数据实验三 HDFS的基本操作

一、实验目的

  1. 理解HDFS架构和工作原理
  2. 掌握HDFS部署环境和步骤
  3. 掌握HDFS(集群的启动start-dfs.sh)启动
  4. 使用Hadoop命令(文件的增////上传/下载)来操作分布式文件系统

二、实验内容

  1. HDFS伪分布式环境搭建
  2. HDFS(集群的启动start-dfs.sh)启动
  3. 练习Hadoop命令(文件的增////上传/下载)来操作分布式文件系统

三、实验步骤

使用tar解压命令,将已经下载好的hadoop安装包进行解压。

执行过程及结果:

1.进入软件包目录

1. root@evassh-10644553:~# cd /data/workspace/myshixun/ 
2. root@evassh-10644553:/data/workspace/myshixun#

2.查看软件包(通过LS命令可以看到jdk这个安装包)

1. root@evassh-10644553:/data/workspace/myshixun# ls hadoop-2.8.3.tar.gz 
2. root@evassh-10644553:/data/workspace/myshixun#

3.将软件包解压到/opt目录下(tar命令是解压命令,-C参数是指定解压位置)

1. root@evassh-10644553:/data/workspace/myshixun# tar -zxf hadoop-2.7.1.tar.gz -C /opt 
2. root@evassh-10644553:/data/workspace/myshixun#

4.查看是否解压成功

1. root@evassh-10644553:/data/workspace/myshixun# ls /opt hadoop-2.8.3 
2. root@evassh-10644553:/data/workspace/myshixun#

5.将目录切换到root用户的家目录

1. root@evassh-10644553:/data/workspace/myshixun# cd 
2. root@evassh-10644553:~#

配置环境变量

配置环境变量的目的是为了能够在全局使用hadoop或者hdfs等相关的命令。

1.使用vi命令编辑环境变量文件

root@evassh-10644553:~# vi /etc/profile

输入完成该命令后会进入文档内部,如下图

2.按↓箭头将白色光标移动到最下面,如下图标红出所示

3.确保当前输入法在英文状态下后,按下小写i键,按下后如下图标红处所示出现--INSERT--字符,表示已经进入文档编辑模式,可以编辑该文档了

4.按照下图红色框内输入的内容,完成配置

5.输入完成后,按下键盘上的esc键,退出编辑模式,按下后,可以看到--INSERT--字符已经没有了

6.确保当前输入法在英文状态下后,输入:wq 保存文件并且退出文件

回车后,就可以看到已经退出文件编辑

7.生效环境编辑

root@evassh-10644553:~#source /etc/profile root@evassh-10644553:~#

8.测试,单输入h字母后,快速按下键盘上面的TAB键,会返回如下结果

root@evassh-10644553:~# h

root@evassh-10644553:~# h

从上面的返回结果中我们可以看到有hadoop和hdfs开头的很多命令,如果TAB后没有hadoop和hdfs开头的命令则环境变量配置错误。

修改HDFS的core-site.xml文件

core-site.xml文件主要是指定默认文件系统为 HDFS 和 Namenode 所在节点。

1.编辑core-site.xml

root@evassh-10644553:~# vi /opt/hadoop-2.7.1/etc/hadoop/core-site.xml

输入完成该命令后会进入文档内部,如图 

2.按↓箭头将白色光标移动到最下面,如下图标红出所示

3.确保当前输入法在英文状态下后,按下小写i键,按下后如下图标红处所示出现--INSERT--字符,表示已经进入文档编辑模式,可以编辑该文档了

4.按照下图红色框内输入的内容,完成配置

一定要再三核对该内容,否则后面会报错

5.输入完成后,按下键盘上的esc键,退出编辑模式,按下后,可以看到--INSERT--字符已经没有了

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
2月前
|
存储 大数据 数据挖掘
云计算与大数据:从基础设施到实际应用
云计算与大数据:从基础设施到实际应用
167 0
|
9天前
|
存储 分布式计算 大数据
[AIGC 大数据基础]浅谈hdfs
[AIGC 大数据基础]浅谈hdfs
|
9天前
|
存储 分布式计算 运维
[AIGC 大数据基础] 浅谈hdfs
[AIGC 大数据基础] 浅谈hdfs
|
2月前
|
存储 大数据 数据挖掘
python数据分析——大数据和云计算
大数据和云计算作为当代信息技术的两大核心驱动力,正在以前所未有的速度改变着我们的生活、工作和思维方式。它们不仅为各行各业的创新提供了强大的技术支持,更是推动了整个社会的数字化转型。 从大数据的角度来看,它的核心价值在于通过对海量数据的收集、存储、分析和挖掘,发现其中的关联性和趋势,从而为决策提供更为科学、精准的依据。无论是商业领域的市场预测、消费者行为分析,还是公共服务领域的城市规划、交通管理,大数据都发挥着不可或缺的作用。同时,随着物联网、传感器等技术的普及,大数据的来源和种类也在不断扩展,这使得我们能够更全面地认识世界,把握规律。
51 0
|
3月前
|
监控 物联网 大数据
智慧工地管理平台系统源码基于物联网、云计算、大数据等技术
智慧工地平台APP通过对施工过程人机料法环的全面感知、互联互通、智能协同,提高施工现场的生产效率、管理水平和决策能力,实现施工管理的数字化、智能化、精益化。
58 0
|
5月前
|
SQL 分布式计算 Hadoop
[AIGC ~大数据] 深入理解Hadoop、HDFS、Hive和Spark:Java大师的大数据研究之旅
[AIGC ~大数据] 深入理解Hadoop、HDFS、Hive和Spark:Java大师的大数据研究之旅
|
5月前
|
分布式计算 Hadoop 大数据
大数据成长之路-- hadoop集群的部署(3)HDFS新增节点
大数据成长之路-- hadoop集群的部署(3)HDFS新增节点
76 0
|
27天前
|
弹性计算 云计算 虚拟化
GPU云服务器_GPU云计算_异构计算_弹性计算-阿里云
阿里云提供多种GPU服务器,包括NVIDIA V100、T4、A10和A100计算卡,其中gn6i实例享有最高3折优惠。包年包月价格如:gn6v实例(16G V100)从4685.20元/月起,gn6i实例(16G T4)从1878.40元/月起。学生无特定GPU服务器优惠,但新用户有折扣活动。GPU服务器计费模式有包年包月和按小时计费,按需选择。详细价格及活动规则见官方链接。
14 0
GPU云服务器_GPU云计算_异构计算_弹性计算-阿里云
|
2月前
|
弹性计算 NoSQL 数据库
电车卷?云计算更卷,阿里云领头降价,2024阿里云服务器又降价了!
电车卷?云计算更卷,阿里云领头降价,2024阿里云服务器又降价了!

热门文章

最新文章