大数据技术基础实验二:Linux基础——常用基本命令与文件操作

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 大数据技术基础实验二,一起来了解学习有关Linux的常用基本命令!

一、前言

上一期博客我们完成了虚拟机的连接以及SSH免密登录,熟悉了一下Linux,现在我们来专门学习一下Linux的一些常用基本命令与文件操作,方便我们后续进行其他的实验操作。

这些命令你不用专门去花时间去死记硬背,那样记不牢,多进行Linux的操作慢慢的就记住了,切记实操很重要,学校大数据云平台提供了探索环境的练习方式,大家可以多去玩玩就可以了。

另外,网上也有很多有关Linux大全的网站,忘记怎么操作的时候还可以上网查一下,加深印象。

好啦,废话不多说,我们开始今天的学习!

二、Linux常用基本命令

1、查看所有环境变量

我们输入命令:env就可以查看我们虚拟机里面所有的环境变量,可以看见安装了那些环境:

[root@master ~]# envSPARK_HOME=/usr/cstor/spark
HOSTNAME=master
HADOOP_CMD=/usr/cstor/hadoop/bin/hadoop
TERM=xterm
SHELL=/bin/bash
HADOOP_HOME=/usr/cstor/hadoop
HISTSIZE=1000SSH_CLIENT=10.30.24.6 6125122SSH_TTY=/dev/pts/0
JRE_HOME=/usr/local/jdk1.7.0_79/jre
USER=root
JAVA_LIBRARY_PATH=/opt/cloudera/parcels/CDH-4.3.0-1.cdh4.3.0.p0.22/lib/hadoop/lib/native
LD_LIBRARY_PATH=/usr/lib64/R/library/rJava/jri
...
RServe_HOME=/usr/lib64/R/library/RServe
HIVE_HOME=/usr/cstor/hive
PWD=/root
JAVA_HOME=/usr/local/jdk1.7.0_79
LANG=en_US.UTF-8
TZ=Asia/Shanghai
RHIVE_DATA=/usr/lib64/R/rhive/data
ZOOKEEPER_HOME=/usr/cstor/zookeeper
HADOOP_OPTS=-Djava.library.path=/usr/cstor/hadoop/lib
HADOOP_STREAMING=/usr/cstor/hadoop/share/hadoop/tools/lib/hadoop-streaming-2.7.1.jar
HISTCONTROL=ignoredups
SHLVL=1HOME=/root
LOGNAME=root
CLASSPATH=.:/usr/lib64/R/library/rJava/jri
SSH_CONNECTION=10.30.24.6 6125110.30.160.8 22LESSOPEN=||/usr/bin/lesspipe.sh %s
R_HOME=/usr/lib64/R
SCALA_HOME=/usr/cstor/scala
_=/usr/bin/env

2、验证cd和pwd命令

cd命令是打开某个路径的命令,也就是打开某个文件夹,并跳转到该文件夹下,它在Windows系统中作用一样:

cd path

其中path有绝对路径和相对路径之分,绝对路径强调从/起,一直到所在路径,而相对路径则是相对于当前路径来说的。

例如打开home下的uesername下的etc文件夹:

cd /home/username/etc 绝对路径
cd etc 相对路径

另外在Linux系统中 . 代表当前目录, 代表上级目录,如果要返回上级目录就可以使用命令:cd …

pwd命令是查看当前目录,并返回工作目录名字,是绝对路径名:

[root@master ~]# pwd/root

image-20220909213739124.png

3、验证ls命令

ls意思为list,用于列举指定目录下的文件名称以及属性。

语法格式:ls [参数] [文件]

命令 说明
ls ××× 列出文件
ls 目录名 ××× 列出目录名下的可见文件
ls -l 目录名 ××× 列出目录名下的课件文件详细信息
ls -hl 目录名 ××× 列出详细信息并以可读大小显示文件大小
ls -al 目录名 ××× 列出所有文件(包括隐藏文件)的详细信息

值得注意的是,Linux中以 . 开头的文件或者文件夹都是隐藏文件或者隐藏文件夹。

[root@master ~]# ls .       仅列出当前目录可见文件anaconda-ks.cfg  dataset  notebooks
[root@master ~]# ls -l .total 4-rw-------1 root root 3302 Jun  12018 anaconda-ks.cfg
drwxr-xr-x 2 root root   41 Jul  32018 dataset
drwxr-xr-x 3 root root   24 Sep  918:23 notebooks
[root@master ~]# ls -hl .       列出详细信息并以可读大小显示文件大小total 4.0K
-rw-------1 root root 3.3K Jun  12018 anaconda-ks.cfg
drwxr-xr-x 2 root root   41 Jul  32018 dataset
drwxr-xr-x 3 root root   24 Sep  918:23 notebooks
[root@master ~]# ls -al .       列出所有文件(包括隐藏文件)的详细信息total 24dr-xr-x---  6 root root  172 Sep  918:23 .
drwxr-xr-x 16 root root  251 Sep  918:23 ..
-rw-------1 root root 3302 Jun  12018 anaconda-ks.cfg
-rw-r--r--1 root root   18 Dec 292013 .bash_logout
-rw-r--r--1 root root 1307 Sep  918:23 .bash_profile
-rw-r--r--1 root root  176 Dec 292013 .bashrc
drwx------  3 root root   17 Jul  32018 .cache
-rw-r--r--1 root root  100 Dec 292013 .cshrc
drwxr-xr-x  2 root root   41 Jul  32018 dataset
drwxr-xr-x  3 root root   24 Sep  918:23 notebooks
drwxr-----  3 root root   19 Jul  32018 .pki
-rw-r--r--1 root root  129 Dec 292013 .tcshrc
[root@master ~]#

image-20220909214807891.png

4、验证mkdir命令

mkdir命令用于新建文件夹。

语法格式:mkdir [参数] 目录

常用参数:

参数 说明
-p 递归创建多级目录
-m 建立目录的同时设置目录的权限
-z 设置安全上下文
-v 显示目录的创建过程
[root@master ~]# mkdir folder[root@master ~]# ls -ltotal 4-rw-------1 root root 3302 Jun  12018 anaconda-ks.cfg
drwxr-xr-x 2 root root   41 Jul  32018 dataset
drwxr-xr-x 2 root root    6 Sep  921:44 folder
drwxr-xr-x 3 root root   24 Sep  918:23 notebooks
[root@master ~]# ls -l folder/total 0[root@master ~]# mkdir -p folder/subfolder[root@master ~]# ls -l folder/total 0drwxr-xr-x 2 root root 6 Sep  921:45 subfolder
[root@master ~]#

image-20220909215555373.png

5、验证cp、mv和rm命令

cp意思为copy,用于将一个或多个文件或目录复制到指定位置。

语法格式:cp [参数] 源文件 目标文件

常用参数:

参数 说明
-f 若目标文件已存在,则会直接覆盖原文件
-i 若目标文件已存在,则会询问是否覆盖
-p 保留源文件或目录的所有属性
-r 递归复制文件和目录

mv意思为move,用于对文件进行剪切和重命名。

语法格式:mv [参数] 源文件 目标文件

常用参数:

常用参数 说明
-i 若存在同名文件,则向用户询问是否覆盖
-f 覆盖已有文件时,不进行任何提示
-b 当文件存在时,覆盖前为其创建一个备份
-u 当源文件比目标文件新,或者目标文件不存在时,才执行移动此操作

rm意思为remove,用于删除文件或目录,一次可以删除多个文件,或递归删除目录及其内的所有子文件。rm命令要谨慎的使用。

语法格式:rm [参数] 文件

常用参数:

参数 说明
-f 强制删除(不二次询问)
-i 删除前会询问用户是否操作
-r/R 递归删除
-v 显示指令的详细执行过程
[root@master ~]# cd /home/[root@master home]# ls -ltotal 0[root@master home]# cp /root/dataset/area.csv /home/[root@master home]# ls -ltotal 272-rw-r--r--1 root root 277422 Sep  922:00 area.csv
[root@master home]# cp /root/dataset/* /home/cp: overwrite ‘/home/area.csv’? y
[root@master home]# cp -r /root/folder/ /home/[root@master home]# ls -ltotal 2164-rw-r--r--1 root root  277422 Sep  922:00 area.csv
drwxr-xr-x 3 root root      23 Sep  922:01 folder
-rw-r--r--1 root root 1933320 Sep  922:00 weather.csv
[root@master home]# mv area.csv area-bak.csv[root@master home]# ls -ltotal 2164-rw-r--r--1 root root  277422 Sep  922:00 area-bak.csv
drwxr-xr-x 3 root root      23 Sep  922:01 folder
-rw-r--r--1 root root 1933320 Sep  922:00 weather.csv
[root@master home]# mv folder newfolder[root@master home]# ls -ltotal 2164-rw-r--r--1 root root  277422 Sep  922:00 area-bak.csv
drwxr-xr-x 3 root root      23 Sep  922:01 newfolder
-rw-r--r--1 root root 1933320 Sep  922:00 weather.csv
[root@master home]# rm weather.csvrm: remove regular file ‘weather.csv’? y
[root@master home]# ls -ltotal 272-rw-r--r--1 root root 277422 Sep  922:00 area-bak.csv
drwxr-xr-x 3 root root     23 Sep  922:01 newfolder
[root@master home]# rm -f area-bak.csv[root@master home]# ls -ltotal 0drwxr-xr-x 3 root root 23 Sep  922:01 newfolder
[root@master home]# rm -rf newfolder/subfolder/[root@master home]# ls -l newfolder/total 0[root@master home]# touch a.txt b.txt c.txt     touch命令创建空文件[root@master home]# ls -ltotal 0-rw-r--r--1 root root 0 Sep  922:09 a.txt
-rw-r--r--1 root root 0 Sep  922:09 b.txt
-rw-r--r--1 root root 0 Sep  922:09 c.txt
drwxr-xr-x 2 root root 6 Sep  922:08 newfolder
[root@master home]# rm -rf *[root@master home]# ls -ltotal 0[root@master home]#

image-20220909222029368.png

三、Linux文件操作

1、验证touch命令

touch命令的功能是用于创建空文件与修改时间戳。如果文件不存在,则会创建出一个空内容的文本文件;如果文件已经存在,则会对文件的访问时间和修改时间进行修改操作,管理员可以完成此项工作,而普通用户只能管理主机的文件。

语法格式:touch [参数] 文件

参数 说明
-a 改变档案的读取时间记录
-m 改变档案的修改时间记录
-r 使用参考档的时间记录,与 --file 的效果一样
-c 不创建新文件
-d 设定时间与日期,可以使用各种不同的格式
-t 设定档案的时间记录,格式与 date 命令相同
[root@master ~]# ls -ltotal 4-rw-------1 root root 3302 Jun  12018 anaconda-ks.cfg
drwxr-xr-x 2 root root   41 Jul  32018 dataset
drwxr-xr-x 3 root root   24 Sep  922:13 notebooks
[root@master ~]# touch yunchuang.txt[root@master ~]# ls -ltotal 4-rw-------1 root root 3302 Jun  12018 anaconda-ks.cfg
drwxr-xr-x 2 root root   41 Jul  32018 dataset
drwxr-xr-x 3 root root   24 Sep  922:13 notebooks
-rw-r--r--1 root root    0 Sep  922:20 yunchuang.txt
[root@master ~]# touch yunchuang.txt[root@master ~]# ls -ltotal 4-rw-------1 root root 3302 Jun  12018 anaconda-ks.cfg
drwxr-xr-x 2 root root   41 Jul  32018 dataset
drwxr-xr-x 3 root root   24 Sep  922:13 notebooks
-rw-r--r--1 root root    0 Sep  922:20 yunchuang.txt
[root@master ~]#

image-20220909223102117.png

2、验证cat命令

cat意思为concatenate,用于

查看文件内容,cat命令适用于查看内容较少的、纯文本的文件。

语法格式:cat [参数] 文件

常用参数:

参数 说明
-n 显示行数(空行也编号)
-s 显示行数(多个空行算一个编号)
-b 显示行数(空行不编号)
-E 每行结束处显示$符号
-T 将TAB字符显示为 ^I符号
–help 显示帮助信息
–version 显示版本信息
[root@master ~]# cat anaconda-ks.cfg#version=DEVEL# Install OS instead of upgradeinstall
# Use network installationurl --url="http://mirrors.kernel.org/centos/7/os/x86_64/"repo --name="CentOS"--baseurl=http://mirror.centos.org/centos/7/os/x86_64/ --cost=100repo --name="Updates"--baseurl=http://mirror.centos.org/centos/7/updates/x86_64/ --cost=100cmdline
# Firewall configurationfirewall --disabledfirstboot --disable# Keyboard layouts# old format: keyboard us# new format:keyboard --vckeymap=us --xlayouts='us'# System languagelang en_US.UTF-8
# Network informationnetwork  --bootproto=dhcp --device=link --activate# Shutdown after installationshutdown
# Root passwordrootpw --iscrypted--lock locked
# SELinux configurationselinux --enforcing# System servicesservices --disabled="chronyd"# Do not configure the X Window Systemskipx
# System timezonetimezone UTC --isUtc--nontp# System bootloader configurationbootloader --disabled# Clear the Master Boot Recordzerombr
# Partition clearing informationclearpart --all--initlabel# Disk partitioning informationpart / --fstype="ext4"--size=3000%pre
touch /tmp/NOSAVE_LOGS
touch /tmp/NOSAVE_INPUT_KS
%end
%post
# Post configure tasks for Docker# remove stuff we don't need that anaconda insists on# kernel needs to be removed by rpm, because of grubbyrpm -e kernel
yum -y remove bind-libs bind-libs-lite dhclient dhcp-common dhcp-libs \
  dracut-network e2fsprogs e2fsprogs-libs ebtables ethtool file \
  firewalld freetype gettext gettext-libs groff-base grub2 grub2-tools \
  grubby initscripts iproute iptables kexec-tools libcroco libgomp \
  libmnl libnetfilter_conntrack libnfnetlink libselinux-python lzo \
  libunistring os-prober python-decorator python-slip python-slip-dbus \
  snappy sysvinit-tools which linux-firmware GeoIP firewalld-filesystem
yum clean all
#clean up unused directoriesrm-rf /boot
rm-rf /etc/firewalld
# Lock roots account, keep roots account password-less.passwd -l root
#LANG="en_US"#echo "%_install_lang $LANG" > /etc/rpm/macros.image-language-confawk'(NF==0&&!done){print "override_install_langs=en_US.utf8\ntsflags=nodocs";done=1}{print}' \
    < /etc/yum.conf > /etc/yum.conf.new
mv /etc/yum.conf.new /etc/yum.conf
echo'container' > /etc/yum/vars/infra
##Setup locale properly# Commenting out, as this seems to no longer be needed#rm -f /usr/lib/locale/locale-archive#localedef -v -c -i en_US -f UTF-8 en_US.UTF-8## Remove some things we don't needrm-rf /var/cache/yum/x86_64
rm-f /tmp/ks-script*
rm-rf /var/log/anaconda
rm-rf /tmp/ks-script*
rm-rf /etc/sysconfig/network-scripts/ifcfg-*
# do we really need a hardware database in a container?rm-rf /etc/udev/hwdb.bin
rm-rf /usr/lib/udev/hwdb.d/*
## Systemd fixes# no machine-id by default.:> /etc/machine-id
# Fix /run/lock breakage since it's not tmpfs in dockerumount /run
systemd-tmpfiles --create--boot# Make sure login worksrm /var/run/nologin
#Generate installtime file record/bin/date +%Y%m%d_%H%M > /etc/BUILDTIME
%end
%packages --excludedocs--nocore--instLangs=en
bashbind-utils
centos-release
iproute
iputils
less
passwd
rootfiles
systemd
tar
vim-minimal
yum
yum-plugin-ovl
yum-utils
-*firmware
-GeoIP-bind-license-firewalld-filesystem-freetype-gettext*
-kernel*
-libteam-os-prober-teamd%end
[root@master ~]#

image-20220909223558284.png

3、验证more命令

more命令用于分页显示文本文件内容,如果文本文件中的内容较多较长,使用cat命令读取后则很难看清,这时使用more命令进行分页查看就更加合适了,可以把文本内容一页一页的显示在终端界面上,用户每按一次回车即向下一行,每按一次空格即向下一页,直至看完为止。

语法格式:more [参数] 文件

常用参数:

参数 说明
-num 指定每屏显示的行数
-f 计算实际的行数,而非自动换行的行数
-p 先清除屏幕再显示文本文件的剩余内容
-c 与-p相似,不滚屏,先显示内容再清除旧内容
-s 多个空行压缩成一行显示
-u 禁止下划线

验证cat命令时,由于anaconda-ks.cfg文件内容过多,屏幕自动刷到了文件底端,导致前面的文件无法正常展示,因此,键入如下命令来验证more和cat的区别。

[root@master ~]# more anaconda-ks.cfg#version=DEVEL# Install OS instead of upgradeinstall
# Use network installationurl --url="http://mirrors.kernel.org/centos/7/os/x86_64/"repo --name="CentOS"--baseurl=http://mirror.centos.org/centos/7/os/x86_64/ --cost=100repo --name="Updates"--baseurl=http://mirror.centos.org/centos/7/updates/x86_64/ --cost=100cmdline
# Firewall configurationfirewall --disabledfirstboot --disable# Keyboard layouts# old format: keyboard us# new format:keyboard --vckeymap=us --xlayouts='us'# System languagelang en_US.UTF-8
# Network informationnetwork  --bootproto=dhcp --device=link --activate# Shutdown after installationshutdown
--More--(19%)

image-20220909224149089.png

四、最后我想说

本次的实验就到此为止,本次实验的目的就是熟悉Linux常用基本命令的,后续实验也会经常使用这些简单的命令进行组合,熟能生巧,多用用就记住了。

后续我也会继续更新我的大数据学习过程的,和大家一起慢慢去了解并学习有关大数据的一些知识。

最后,创作不易,期待得到你们的支持,谢谢!

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps&nbsp;
北天
+关注
目录
打赏
0
0
0
0
300
分享
相关文章
云上体验最佳的服务器操作系统 - Alibaba Cloud Linux | 飞天技术沙龙-CentOS 迁移替换专场
本次方案的主题是云上体验最佳的服务器操作系统 - Alibaba Cloud Linux ,从 Alibaba Cloud Linux 的产生背景、产品优势以及云上用户使用它享受的技术红利等方面详细进行了介绍。同时,通过国内某社交平台、某快递企业、某手机客户大数据业务 3 大案例,成功助力客户实现弹性扩容能力提升、性能提升、降本增效。 1. 背景介绍 2. 产品介绍 3. 案例分享
|
24天前
|
Linux虚拟化技术:从Xen到KVM
Xen和KVM是Linux平台上两种主要的虚拟化技术,各有优缺点和适用场景。通过对比两者的架构、性能、安全性、管理复杂性和硬件依赖性,可以更好地理解它们的适用场景和选择依据。无论是高性能计算、企业虚拟化还是云计算平台,合理选择和配置虚拟化技术是实现高效、稳定和安全IT环境的关键。
83 8
技术评测:MaxCompute MaxFrame——阿里云自研分布式计算框架的Python编程接口
随着大数据和人工智能技术的发展,数据处理的需求日益增长。阿里云推出的MaxCompute MaxFrame(简称“MaxFrame”)是一个专为Python开发者设计的分布式计算框架,它不仅支持Python编程接口,还能直接利用MaxCompute的云原生大数据计算资源和服务。本文将通过一系列最佳实践测评,探讨MaxFrame在分布式Pandas处理以及大语言模型数据处理场景中的表现,并分析其在实际工作中的应用潜力。
78 2
轻量级的大数据处理技术
现代大数据应用架构中,数据中心作为核心,连接数据源与应用,承担着数据处理与服务的重要角色。然而,随着数据量的激增,数据中心面临运维复杂、体系封闭及应用间耦合性高等挑战。为缓解这些问题,一种轻量级的解决方案——esProc SPL应运而生。esProc SPL通过集成性、开放性、高性能、数据路由和敏捷性等特性,有效解决了现有架构的不足,实现了灵活高效的数据处理,特别适用于应用端的前置计算,降低了整体成本和复杂度。
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系,保留最大方差信息,实现数据压缩、去噪及可视化。本文详解PCA原理、步骤及其Python实现,探讨其在图像压缩、特征提取等领域的应用,并指出使用时的注意事项,旨在帮助读者掌握这一强大工具。
132 4
|
8月前
|
百度搜索:蓝易云【Linux中如何对文件进行压缩和解压缩?】
这些是在Linux中进行文件压缩和解压缩的常见方法。根据您的需求和具体情况,可能会使用其他压缩工具和选项。您可以通过查阅相应命令的帮助文档来获取更多详细信息。
96 1
Linux常用命令(文件目录操作、拷贝移动、打包压缩、文本编辑、查找)
Linux常用命令(文件目录操作、拷贝移动、打包压缩、文本编辑、查找)
|
8月前
|
Linux下文件增删改查定位压缩操作与权限所属用户
Linux下文件增删改查定位压缩操作与权限所属用户
81 0
26Linux - 文件管理(文件压缩解压:bzip2)
26Linux - 文件管理(文件压缩解压:bzip2)
71 0
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等