Spark修炼之道(基础篇)——Linux大数据开发基础:第十节:Shell编程入门(二)

简介: 参考书目:linux shell scripting cookbook本节主要内容shell命令行中的基本运算文件描述符与文件重定向1. shell命令行中的基本运算通过上一节我们知道,Linux Bash shell 命令行的变量都被解析成字符串,如//变量被解析为字符串root@sparkmaster:~/ShellLearning/cha

参考书目:linux shell scripting cookbook

本节主要内容

  1. shell命令行中的基本运算
  2. 文件描述符与文件重定向

1. shell命令行中的基本运算

通过上一节我们知道,Linux Bash shell 命令行的变量都被解析成字符串,如

//变量被解析为字符串
root@sparkmaster:~/ShellLearning/chapter09# first=1
root@sparkmaster:~/ShellLearning/chapter09# second=2

//并不会进行加法操作,而是两个字符串拼接
root@sparkmaster:~/ShellLearning/chapter09# $first+$second
1+2: command not found

那如何要进行基本的加减乘除等运算,怎么办呢?有三种命令可以做到,它们是let, (( )), and []。先来看一下let命令

//使用let命令,会进行加法运算
root@sparkmaster:~/ShellLearning/chapter09# let result=first+second

root@sparkmaster:~/ShellLearning/chapter09# echo $result
3

let命令还提供c、c++风格的自增、自减等操作,如:

root@sparkmaster:~/ShellLearning/chapter09# first=2
root@sparkmaster:~/ShellLearning/chapter09# $first
2: command not found
//自增操作
root@sparkmaster:~/ShellLearning/chapter09# let first++
root@sparkmaster:~/ShellLearning/chapter09# echo ${first}
3
//自减操作
root@sparkmaster:~/ShellLearning/chapter09# let first--
root@sparkmaster:~/ShellLearning/chapter09# echo ${first}
2
//相当于let first=first+10
root@sparkmaster:~/ShellLearning/chapter09# let first+=10
root@sparkmaster:~/ShellLearning/chapter09# echo ${first}
12
//相当于let first=first-10,其它操作如乘、除类似
root@sparkmaster:~/ShellLearning/chapter09# let first-=10
root@sparkmaster:~/ShellLearning/chapter09# echo ${first}
2

[]命令的功能与let命令类似,如

root@sparkmaster:~/ShellLearning/chapter09# first=5
root@sparkmaster:~/ShellLearning/chapter09# second=6
root@sparkmaster:~/ShellLearning/chapter09# result=$[first+second]
root@sparkmaster:~/ShellLearning/chapter09# echo $result 
11
//result=$[$first+$second]与result=$[first+second]等同
root@sparkmaster:~/ShellLearning/chapter09# result=$[$first+$second]
root@sparkmaster:~/ShellLearning/chapter09# echo $result 
11

也可以使用(( )) 命令进行,如:

root@sparkmaster:~/ShellLearning/chapter09# reslut=$((first+second))
root@sparkmaster:~/ShellLearning/chapter09# echo $result 
11

需要注意的是上述命令只对整型数值有效,不适用于浮点数

root@sparkmaster:~/ShellLearning/chapter09# result=$[first+second]
bash: 5.5: syntax error: invalid arithmetic operator (error token is ".5")

root@sparkmaster:~/ShellLearning/chapter09# let resul=first+second
bash: let: 5.5: syntax error: invalid arithmetic operator (error token is ".5")

如果有浮点数参与运算,可以将echo与bc命令结合起来使用,代码如下:

root@sparkmaster:~/ShellLearning/chapter09# echo "$first+$second" | bc
12.0
root@sparkmaster:~/ShellLearning/chapter09# echo "$first*$second" | bc
35.7

2. 文件描述符与文件重定向

在Linux操作系统当中,文件描述符(File descriptors )与文件的输入输出相关,用整数表示,最常用的三种文件描述符号为stdin、stdout及stderr。stdin表示标准输入(standard input),文件描述符为0;stdout表示标准输出(standard output),文件描述符为1;stderr表示标准错误(standard error),文件描述为2。
标准输出指的是命令执行正常时显示到终端的信息,如

//stdout
root@sparkmaster:~/ShellLearning/chapter10# echo "Shell Scripting 1" 
Shell Scripting 1

标准错误指的是命令执行异常时显示到终端的信息,如

//stderr
root@sparkmaster:~/ShellLearning/chapter10# cat ls
cat: ls: No such file or directory

如果不想将这些信息输出到终端,而是输出到文件中保存起来,这时就需要用到重定向,具体代码如下:

//利用>命令将标准输出重定向输出到文件,>命令首先清空shell.txt文件
//然后将信息写到文件当中,相当于覆盖了以前文件的内容
root@sparkmaster:~/ShellLearning/chapter10# echo "Shell Scripting 1" > shell.txt
//以追加的方式将标准输出重定向到文件
root@sparkmaster:~/ShellLearning/chapter10# echo "Shell Scripting 2" >> shell.txt
root@sparkmaster:~/ShellLearning/chapter10# cat shell.txt 
Shell Scripting 1
Shell Scripting 2

刚提到echo “Shell Scripting 1” > shell.txt命令是将标准输出(文件描述符为1)重定向到文件shell.txt当中,它其实相当于echo “Shell Scripting 1” 1> shell.txt,只不过默认可以省略:

root@sparkmaster:~/ShellLearning/chapter10# echo "Shell Scripting 1" 1> shell2.txt 
root@sparkmaster:~/ShellLearning/chapter10# cat shell2.txt 
Shell Scripting 1

同样标准错误输出也可以重定向到文件当中,与标准输出重定向不同的是,其文件描述符不能省略

//2>将标准错误信息重定向到文件中,这里的文件描述符2不能省略
root@sparkmaster:~/ShellLearning/chapter10# cat ls 2> shellError.txt
root@sparkmaster:~/ShellLearning/chapter10# cat shellError.txt 
cat: ls: No such file or directory

//标准错误的文件描述符2不能省略,因为省略的话默认是标准输出
//会将错误信息输出到终端
root@sparkmaster:~/ShellLearning/chapter10# cat ls > shellError.txt
cat: ls: No such file or directory

重定向时可以根据将重定向命令结合起来使用,如

//cmd命令无效,会产生标准错误,此时错误信息会重定向到文件stderr.txt文件当中
root@sparkmaster:~/ShellLearning/chapter10# cmd 2>stderr.txt 1>stdout.txt
root@sparkmaster:~/ShellLearning/chapter10# cat stderr.txt 
No command 'cmd' found, did you mean:
 Command 'dcmd' from package 'devscripts' (main)
 Command 'wmd' from package 'wml' (universe)
 Command 'tcmd' from package 'tcm' (universe)
 Command 'cmp' from package 'diffutils' (main)
 Command 'qcmd' from package 'renameutils' (universe)
 Command 'mmd' from package 'mtools' (main)
 Command 'cm' from package 'config-manager' (universe)
 Command 'mcd' from package 'mtools' (main)
 Command 'icmd' from package 'renameutils' (universe)
cmd: command not found
//stdout.txt中无内容
root@sparkmaster:~/ShellLearning/chapter10# cat stdout.txt 
//ls命令合法,会产生标准输出,此时会被重定向到stdout.txt文件当中
root@sparkmaster:~/ShellLearning/chapter10# ls 2>stderr.txt 1>stdout.txt 
root@sparkmaster:~/ShellLearning/chapter10# cat stdout.txt 
shell2.txt
shellError.txt
shell.txt
stderr.txt
stdout.txt

在实际使用时,有些时候可能会将标准输出与标准错误输出都重定向到一个文件,此时可以使用下列命令

//&>将标准错误输出转换为标准输出,相当于2>&1
root@sparkmaster:~/ShellLearning/chapter10# cmd &> output.txt
root@sparkmaster:~/ShellLearning/chapter10# cat output.txt 
No command 'cmd' found, did you mean:
 Command 'dcmd' from package 'devscripts' (main)
 Command 'wmd' from package 'wml' (universe)
 Command 'tcmd' from package 'tcm' (universe)
 Command 'cmp' from package 'diffutils' (main)
 Command 'qcmd' from package 'renameutils' (universe)
 Command 'mmd' from package 'mtools' (main)
 Command 'cm' from package 'config-manager' (universe)
 Command 'mcd' from package 'mtools' (main)
 Command 'icmd' from package 'renameutils' (universe)
cmd: command not found
root@sparkmaster:~/ShellLearning/chapter10# ls &>output.txt 
root@sparkmaster:~/ShellLearning/chapter10# cat output.txt 
output.txt
shell2.txt
shellError.txt
shell.txt
stderr.txt
stdout.txt

有时命令运行时,对于出错信息我们并不关心,又不想浪费存储空间存储这些错误信息,此时可以将其丢弃,具体做法是将标准错误输出重定向到/dev/null文件当中,/dev/null就像一个垃圾黑洞

//将错误信息丢弃
root@sparkmaster:~/ShellLearning/chapter10# cmd 2> /dev/null

标准错误输出或标准输出还可以作为管道命令的标准输入,例如:

//标准输出作为另外一个命令的标准输入
root@sparkmaster:~/ShellLearning/chapter10# cat stdout.txt | more
shell2.txt
shellError.txt
shell.txt
stderr.txt
stdout.txt
//标准错误输出作为另一个命令的标准输入
root@sparkmaster:~/ShellLearning/chapter10# ls + | more
ls: cannot access +: No such file or directory

有时我们既想将标准错误输出或标准输出重定向到一个文件当中,又想它作为另外一个命令的标准输入,这时可以使用tee命令

//标准输出重定向到文件teeStdout.txt当中,同时又作为more的标准输入
root@sparkmaster:~/ShellLearning/chapter10# ls  | tee teeStdout.txt | more
output.txt
shell2.txt
shellError.txt
shell.txt
stderr.txt
stdout.txt
teeStdout.txt
root@sparkmaster:~/ShellLearning/chapter10# cat teeStdout.txt 
output.txt
shell2.txt
shellError.txt
shell.txt
stderr.txt
stdout.txt
teeStdout.txt
相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
8月前
|
人工智能 分布式计算 大数据
大数据≠大样本:基于Spark的特征降维实战(提升10倍训练效率)
本文探讨了大数据场景下降维的核心问题与解决方案,重点分析了“维度灾难”对模型性能的影响及特征冗余的陷阱。通过数学证明与实际案例,揭示高维空间中样本稀疏性问题,并提出基于Spark的分布式降维技术选型与优化策略。文章详细展示了PCA在亿级用户画像中的应用,包括数据准备、核心实现与效果评估,同时深入探讨了协方差矩阵计算与特征值分解的并行优化方法。此外,还介绍了动态维度调整、非线性特征处理及降维与其他AI技术的协同效应,为生产环境提供了最佳实践指南。最终总结出降维的本质与工程实践原则,展望未来发展方向。
414 0
|
5月前
|
存储 安全 Unix
七、Linux Shell 与脚本基础
别再一遍遍地敲重复的命令了,把它们写进Shell脚本,就能一键搞定。脚本本质上就是个存着一堆命令的文本文件,但要让它“活”起来,有几个关键点:文件开头最好用#!/usr/bin/env bash来指定解释器,并用chmod +x给它执行权限。执行时也有讲究:./script.sh是在一个新“房间”(子Shell)里跑,不影响你;而source script.sh是在当前“房间”里跑,适合用来加载环境变量和配置文件。
522 9
|
5月前
|
算法 Linux Shell
Linux实用技能:打包压缩、热键、Shell与权限管理
本文详解Linux打包压缩技巧、常用命令与原理,涵盖.zip与.tgz格式操作、跨系统传文件方法、Shell运行机制及权限管理,助你高效使用Linux系统。
Linux实用技能:打包压缩、热键、Shell与权限管理
|
5月前
|
存储 Shell Linux
八、Linux Shell 脚本:变量与字符串
Shell脚本里的变量就像一个个贴着标签的“箱子”。装东西(赋值)时,=两边千万不能有空格。用单引号''装进去的东西会原封不动,用双引号""则会让里面的$变量先“变身”再装箱。默认箱子只能在当前“房间”(Shell进程)用,想让隔壁房间(子进程)也能看到,就得给箱子盖个export的“出口”戳。此外,Shell还自带了$?(上条命令的成绩单)和$1(别人递进来的第一个包裹)等许多特殊箱子,非常有用。
503 2
|
7月前
|
Web App开发 缓存 安全
Linux一键清理系统垃圾:释放30GB空间的Shell脚本实战​
这篇博客介绍了一个实用的Linux系统盘清理脚本,主要功能包括: 安全权限检查和旧内核清理,保留当前使用内核 7天以上日志文件清理和系统日志压缩 浏览器缓存(Chrome/Firefox)、APT缓存、临时文件清理 智能清理Snap旧版本和Docker无用数据 提供磁盘空间使用前后对比和大文件查找功能 脚本采用交互式设计确保安全性,适合定期维护开发环境、服务器和个人电脑。文章详细解析了脚本的关键功能代码,并给出了使用建议。完整脚本已开源,用户可根据需求自定义调整清理策略。
866 1
|
9月前
|
Linux Shell 数据安全/隐私保护
Centos或Linux编写一键式Shell脚本创建用户、组、目录分配权限指导手册
Centos或Linux编写一键式Shell脚本创建用户、组、目录分配权限指导手册
512 3
|
5月前
|
Linux 应用服务中间件 Shell
二、Linux文本处理与文件操作核心命令
熟悉了Linux的基本“行走”后,就该拿起真正的“工具”干活了。用grep这个“放大镜”在文件里搜索内容,用find这个“探测器”在系统中寻找文件,再用tar把东西打包带走。最关键的是要学会使用管道符|,它像一条流水线,能把这些命令串联起来,让简单工具组合出强大的功能,比如 ps -ef | grep 'nginx' 就能快速找出nginx进程。
599 1
二、Linux文本处理与文件操作核心命令
|
5月前
|
Linux
linux命令—stat
`stat` 是 Linux 系统中用于查看文件或文件系统详细状态信息的命令。相比 `ls -l`,它提供更全面的信息,包括文件大小、权限、所有者、时间戳(最后访问、修改、状态变更时间)、inode 号、设备信息等。其常用选项包括 `-f` 查看文件系统状态、`-t` 以简洁格式输出、`-L` 跟踪符号链接,以及 `-c` 或 `--format` 自定义输出格式。通过这些选项,用户可以灵活获取所需信息,适用于系统调试、权限检查、磁盘管理等场景。
379 137
|
5月前
|
安全 Ubuntu Unix
一、初识 Linux 与基本命令
玩转Linux命令行,就像探索一座新城市。首先要熟悉它的“地图”,也就是/根目录下/etc(放配置)、/home(住家)这些核心区域。然后掌握几个“生存口令”:用ls看周围,cd去别处,mkdir建新房,cp/mv搬东西,再用cat或tail看文件内容。最后,别忘了随时按Tab键,它能帮你自动补全命令和路径,是提高效率的第一神器。
904 57