Hadoop原理与技术——Linus命令行基本操作

简介: Hadoop原理与技术——Linus命令行基本操作

点击链接查看文档

在这里插入图片描述

一、实验目的

Hadoop运行在Linux系统上,因此,需要学习实践一些常用的Linux命令。本实验旨在熟悉常用的Linux操作,为顺利开展后续其他实验奠定基础。

二、实验环境

Windows 10
VMware Workstation Pro虚拟机
Hadoop环境
Jdk1.8

三、实验内容

1:Linus常见命令:
(1)创建目录:mkdir 文件夹名

(2)建多层次目录:mkdir -p 文件夹名/文件夹名/文件夹名

(3)同层次建多个文件夹:mkdir 文件夹名/文件夹名 文件夹名/文件夹名 文件夹名/文件夹名

(4)切换目录:cd 文件夹名

(5)显示当前目录路径:pwd

(6)显示当前目录下的文件或目录:ls

(7)创建空文件:touch 文件夹名

(8)编辑文件内容:vi 文件名

(9)容许编辑文件内容:i

(10)保存并退出::wq

(11)查看文件内容:cat 文件名

(12)删除文件:rm 文件名字

(13)返回上一层目录:cd..

(14)返回根目录:cd

(15)删除文件夹:rm -rf 文件夹名

(16)显示文件系统使用情况:du 文件夹名 或者 du 文件夹名/文件名

(17)在当前目录下查找今天之内有改动的文件:find 文件夹名 -mtime 0

(18)在目录中找出所有者为hadoop的文件:find 文件夹名 -user hadoop

(19)在某文件夹下查找文件夹名(文件名)为某某的文件夹(文件)路径:find 文件夹名 -name 文件夹名(文件名)

(20)查找当前目录中大于12KB的文件,注意c表示byte:find . -size +12k

(21)压缩:tar -jcv -f 压缩后文件名 压缩的文件

(22)查询:tar -jtv -f 压缩包文件名

(23)解压:tar -jxv -f 要解压的文件名 -C 解压后文件放置的文件夹名

(24)显示文件的最后10行:tail 文件名

(25)显示详细的网络状况:netstat -a

(26)显示网络设备信息:ifconfig

2:Linus常见命令运行:

1:创建linusTest目录:mkdir linusTest

在这里插入图片描述在这里插入图片描述

2:建多层次testA/testB/testC目录:mkdir -p testA/testB/testC

在这里插入图片描述

3:在文件夹testB同层次下建testB1、testB2、testB3文件夹:mkdir testB/testB1 testB/testB2 testB/testB3

在这里插入图片描述

4:切换到linusTest目录:cd linusTest

在这里插入图片描述

5:显示当前目录路径:pwd

在这里插入图片描述

6:显示当前目录下的文件或目录: ls

在这里插入图片描述

7:创建空文件test1.txt:touch test1.txt

在这里插入图片描述在这里插入图片描述

8:编辑文件内容:vi

在这里插入图片描述

9:容许编辑文件内容:i

在这里插入图片描述

10:保存并退出::wq

在这里插入图片描述

11:查看text1.txt文件内容:cat test1.txt

在这里插入图片描述

12:删除文件text1.txt:rm test1.txt

在这里插入图片描述

13:返回上一层目录:cd..

在这里插入图片描述

14:返回根目录:cd

在这里插入图片描述

15:删除文件夹linusFile1:rm -rf linusFile1

在这里插入图片描述

16:显示文件rg34的使用情况:du rg34

在这里插入图片描述

17:在rg34目录下查找今天之内有改动的文件:find rg34 -mtime 0

在这里插入图片描述

18:在rg34目录中找出所有者为hadoop的文件:find rg34 -user hadoop

在这里插入图片描述

19:在rg34文件夹下查找文件夹名为test1的文件夹路径:find rg34 name test1

在这里插入图片描述

20:查找workspace目录中大于12KB的文件,注意c表示 byte: find . -size +12k

在这里插入图片描述

21:压缩文件test压缩后取名为test.tar.bz2:tar -jcv -f test.tar.bz2 test

在这里插入图片描述

22:查询压缩文件test.tar.bz2:tar -jtv -f test.tar.bz2

在这里插入图片描述

23:解压test.tar.bz2文件解压后放到当前目录test文件夹下:tar -jxv -f test.tar.bz2 -C test

在这里插入图片描述

24:显示rg.txt文件的最后10行:tail rg.txt

在这里插入图片描述

25:显示详细的网络状况:netstat -a

在这里插入图片描述

26:显示网络设备信息:ifconfig

在这里插入图片描述

目录
相关文章
|
7月前
|
分布式计算 Hadoop 大数据
大数据技术与Python:结合Spark和Hadoop进行分布式计算
【4月更文挑战第12天】本文介绍了大数据技术及其4V特性,阐述了Hadoop和Spark在大数据处理中的作用。Hadoop提供分布式文件系统和MapReduce,Spark则为内存计算提供快速处理能力。通过Python结合Spark和Hadoop,可在分布式环境中进行数据处理和分析。文章详细讲解了如何配置Python环境、安装Spark和Hadoop,以及使用Python编写和提交代码到集群进行计算。掌握这些技能有助于应对大数据挑战。
749 1
|
2月前
|
SQL 分布式计算 关系型数据库
Hadoop-13-Hive 启动Hive 修改启动参数命令行启动测试 几句简单的HQL了解Hive
Hadoop-13-Hive 启动Hive 修改启动参数命令行启动测试 几句简单的HQL了解Hive
68 2
|
1月前
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第27天】在大数据时代,数据湖技术凭借其灵活性和成本效益成为企业存储和分析大规模异构数据的首选。Hadoop和Spark作为数据湖技术的核心组件,通过HDFS存储数据和Spark进行高效计算,实现了数据处理的优化。本文探讨了Hadoop与Spark的最佳实践,包括数据存储、处理、安全和可视化等方面,展示了它们在实际应用中的协同效应。
109 2
|
1月前
|
存储 分布式计算 Hadoop
数据湖技术:Hadoop与Spark在大数据处理中的协同作用
【10月更文挑战第26天】本文详细探讨了Hadoop与Spark在大数据处理中的协同作用,通过具体案例展示了两者的最佳实践。Hadoop的HDFS和MapReduce负责数据存储和预处理,确保高可靠性和容错性;Spark则凭借其高性能和丰富的API,进行深度分析和机器学习,实现高效的批处理和实时处理。
74 1
|
2月前
|
分布式计算 负载均衡 算法
Hadoop-31 ZooKeeper 内部原理 简述Leader选举 ZAB协议 一致性
Hadoop-31 ZooKeeper 内部原理 简述Leader选举 ZAB协议 一致性
31 1
|
2月前
|
分布式计算 监控 Hadoop
Hadoop-29 ZooKeeper集群 Watcher机制 工作原理 与 ZK基本命令 测试集群效果 3台公网云服务器
Hadoop-29 ZooKeeper集群 Watcher机制 工作原理 与 ZK基本命令 测试集群效果 3台公网云服务器
45 1
|
2月前
|
分布式计算 Hadoop 网络安全
Hadoop-08-HDFS集群 基础知识 命令行上机实操 hadoop fs 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
Hadoop-08-HDFS集群 基础知识 命令行上机实操 hadoop fs 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
41 1
|
2月前
|
存储 机器学习/深度学习 缓存
Hadoop-07-HDFS集群 基础知识 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
Hadoop-07-HDFS集群 基础知识 分布式文件系统 读写原理 读流程与写流程 基本语法上传下载拷贝移动文件
53 1
|
6月前
|
分布式计算 Hadoop 大数据
大数据技术:Hadoop与Spark的对比
【6月更文挑战第15天】**Hadoop与Spark对比摘要** Hadoop是分布式系统基础架构,擅长处理大规模批处理任务,依赖HDFS和MapReduce,具有高可靠性和生态多样性。Spark是快速数据处理引擎,侧重内存计算,提供多语言接口,支持机器学习和流处理,处理速度远超Hadoop,适合实时分析和交互式查询。两者在资源占用和生态系统上有差异,适用于不同应用场景。选择时需依据具体需求。
|
6月前
|
存储 分布式计算 Hadoop
使用Apache Hadoop进行分布式计算的技术详解
【6月更文挑战第4天】Apache Hadoop是一个分布式系统框架,应对大数据处理需求。它包括HDFS(分布式文件系统)和MapReduce编程模型。Hadoop架构由HDFS、YARN(资源管理器)、MapReduce及通用库组成。通过环境搭建、编写MapReduce程序,可实现分布式计算。例如,WordCount程序用于统计单词频率。优化HDFS和MapReduce性能,结合Hadoop生态系统工具,能提升整体效率。随着技术发展,Hadoop在大数据领域将持续发挥关键作用。
下一篇
DataWorks