Spark修炼之道(基础篇)——Linux大数据开发基础:第十节:Shell编程入门(二)

简介: 参考书目:linux shell scripting cookbook本节主要内容shell命令行中的基本运算文件描述符与文件重定向1. shell命令行中的基本运算通过上一节我们知道,Linux Bash shell 命令行的变量都被解析成字符串,如//变量被解析为字符串root@sparkmaster:~/ShellLearning/cha

参考书目:linux shell scripting cookbook

本节主要内容

  1. shell命令行中的基本运算
  2. 文件描述符与文件重定向

1. shell命令行中的基本运算

通过上一节我们知道,Linux Bash shell 命令行的变量都被解析成字符串,如

//变量被解析为字符串
root@sparkmaster:~/ShellLearning/chapter09# first=1
root@sparkmaster:~/ShellLearning/chapter09# second=2

//并不会进行加法操作,而是两个字符串拼接
root@sparkmaster:~/ShellLearning/chapter09# $first+$second
1+2: command not found

那如何要进行基本的加减乘除等运算,怎么办呢?有三种命令可以做到,它们是let, (( )), and []。先来看一下let命令

//使用let命令,会进行加法运算
root@sparkmaster:~/ShellLearning/chapter09# let result=first+second

root@sparkmaster:~/ShellLearning/chapter09# echo $result
3

let命令还提供c、c++风格的自增、自减等操作,如:

root@sparkmaster:~/ShellLearning/chapter09# first=2
root@sparkmaster:~/ShellLearning/chapter09# $first
2: command not found
//自增操作
root@sparkmaster:~/ShellLearning/chapter09# let first++
root@sparkmaster:~/ShellLearning/chapter09# echo ${first}
3
//自减操作
root@sparkmaster:~/ShellLearning/chapter09# let first--
root@sparkmaster:~/ShellLearning/chapter09# echo ${first}
2
//相当于let first=first+10
root@sparkmaster:~/ShellLearning/chapter09# let first+=10
root@sparkmaster:~/ShellLearning/chapter09# echo ${first}
12
//相当于let first=first-10,其它操作如乘、除类似
root@sparkmaster:~/ShellLearning/chapter09# let first-=10
root@sparkmaster:~/ShellLearning/chapter09# echo ${first}
2

[]命令的功能与let命令类似,如

root@sparkmaster:~/ShellLearning/chapter09# first=5
root@sparkmaster:~/ShellLearning/chapter09# second=6
root@sparkmaster:~/ShellLearning/chapter09# result=$[first+second]
root@sparkmaster:~/ShellLearning/chapter09# echo $result 
11
//result=$[$first+$second]与result=$[first+second]等同
root@sparkmaster:~/ShellLearning/chapter09# result=$[$first+$second]
root@sparkmaster:~/ShellLearning/chapter09# echo $result 
11

也可以使用(( )) 命令进行,如:

root@sparkmaster:~/ShellLearning/chapter09# reslut=$((first+second))
root@sparkmaster:~/ShellLearning/chapter09# echo $result 
11

需要注意的是上述命令只对整型数值有效,不适用于浮点数

root@sparkmaster:~/ShellLearning/chapter09# result=$[first+second]
bash: 5.5: syntax error: invalid arithmetic operator (error token is ".5")

root@sparkmaster:~/ShellLearning/chapter09# let resul=first+second
bash: let: 5.5: syntax error: invalid arithmetic operator (error token is ".5")

如果有浮点数参与运算,可以将echo与bc命令结合起来使用,代码如下:

root@sparkmaster:~/ShellLearning/chapter09# echo "$first+$second" | bc
12.0
root@sparkmaster:~/ShellLearning/chapter09# echo "$first*$second" | bc
35.7

2. 文件描述符与文件重定向

在Linux操作系统当中,文件描述符(File descriptors )与文件的输入输出相关,用整数表示,最常用的三种文件描述符号为stdin、stdout及stderr。stdin表示标准输入(standard input),文件描述符为0;stdout表示标准输出(standard output),文件描述符为1;stderr表示标准错误(standard error),文件描述为2。
标准输出指的是命令执行正常时显示到终端的信息,如

//stdout
root@sparkmaster:~/ShellLearning/chapter10# echo "Shell Scripting 1" 
Shell Scripting 1

标准错误指的是命令执行异常时显示到终端的信息,如

//stderr
root@sparkmaster:~/ShellLearning/chapter10# cat ls
cat: ls: No such file or directory

如果不想将这些信息输出到终端,而是输出到文件中保存起来,这时就需要用到重定向,具体代码如下:

//利用>命令将标准输出重定向输出到文件,>命令首先清空shell.txt文件
//然后将信息写到文件当中,相当于覆盖了以前文件的内容
root@sparkmaster:~/ShellLearning/chapter10# echo "Shell Scripting 1" > shell.txt
//以追加的方式将标准输出重定向到文件
root@sparkmaster:~/ShellLearning/chapter10# echo "Shell Scripting 2" >> shell.txt
root@sparkmaster:~/ShellLearning/chapter10# cat shell.txt 
Shell Scripting 1
Shell Scripting 2

刚提到echo “Shell Scripting 1” > shell.txt命令是将标准输出(文件描述符为1)重定向到文件shell.txt当中,它其实相当于echo “Shell Scripting 1” 1> shell.txt,只不过默认可以省略:

root@sparkmaster:~/ShellLearning/chapter10# echo "Shell Scripting 1" 1> shell2.txt 
root@sparkmaster:~/ShellLearning/chapter10# cat shell2.txt 
Shell Scripting 1

同样标准错误输出也可以重定向到文件当中,与标准输出重定向不同的是,其文件描述符不能省略

//2>将标准错误信息重定向到文件中,这里的文件描述符2不能省略
root@sparkmaster:~/ShellLearning/chapter10# cat ls 2> shellError.txt
root@sparkmaster:~/ShellLearning/chapter10# cat shellError.txt 
cat: ls: No such file or directory

//标准错误的文件描述符2不能省略,因为省略的话默认是标准输出
//会将错误信息输出到终端
root@sparkmaster:~/ShellLearning/chapter10# cat ls > shellError.txt
cat: ls: No such file or directory

重定向时可以根据将重定向命令结合起来使用,如

//cmd命令无效,会产生标准错误,此时错误信息会重定向到文件stderr.txt文件当中
root@sparkmaster:~/ShellLearning/chapter10# cmd 2>stderr.txt 1>stdout.txt
root@sparkmaster:~/ShellLearning/chapter10# cat stderr.txt 
No command 'cmd' found, did you mean:
 Command 'dcmd' from package 'devscripts' (main)
 Command 'wmd' from package 'wml' (universe)
 Command 'tcmd' from package 'tcm' (universe)
 Command 'cmp' from package 'diffutils' (main)
 Command 'qcmd' from package 'renameutils' (universe)
 Command 'mmd' from package 'mtools' (main)
 Command 'cm' from package 'config-manager' (universe)
 Command 'mcd' from package 'mtools' (main)
 Command 'icmd' from package 'renameutils' (universe)
cmd: command not found
//stdout.txt中无内容
root@sparkmaster:~/ShellLearning/chapter10# cat stdout.txt 
//ls命令合法,会产生标准输出,此时会被重定向到stdout.txt文件当中
root@sparkmaster:~/ShellLearning/chapter10# ls 2>stderr.txt 1>stdout.txt 
root@sparkmaster:~/ShellLearning/chapter10# cat stdout.txt 
shell2.txt
shellError.txt
shell.txt
stderr.txt
stdout.txt

在实际使用时,有些时候可能会将标准输出与标准错误输出都重定向到一个文件,此时可以使用下列命令

//&>将标准错误输出转换为标准输出,相当于2>&1
root@sparkmaster:~/ShellLearning/chapter10# cmd &> output.txt
root@sparkmaster:~/ShellLearning/chapter10# cat output.txt 
No command 'cmd' found, did you mean:
 Command 'dcmd' from package 'devscripts' (main)
 Command 'wmd' from package 'wml' (universe)
 Command 'tcmd' from package 'tcm' (universe)
 Command 'cmp' from package 'diffutils' (main)
 Command 'qcmd' from package 'renameutils' (universe)
 Command 'mmd' from package 'mtools' (main)
 Command 'cm' from package 'config-manager' (universe)
 Command 'mcd' from package 'mtools' (main)
 Command 'icmd' from package 'renameutils' (universe)
cmd: command not found
root@sparkmaster:~/ShellLearning/chapter10# ls &>output.txt 
root@sparkmaster:~/ShellLearning/chapter10# cat output.txt 
output.txt
shell2.txt
shellError.txt
shell.txt
stderr.txt
stdout.txt

有时命令运行时,对于出错信息我们并不关心,又不想浪费存储空间存储这些错误信息,此时可以将其丢弃,具体做法是将标准错误输出重定向到/dev/null文件当中,/dev/null就像一个垃圾黑洞

//将错误信息丢弃
root@sparkmaster:~/ShellLearning/chapter10# cmd 2> /dev/null

标准错误输出或标准输出还可以作为管道命令的标准输入,例如:

//标准输出作为另外一个命令的标准输入
root@sparkmaster:~/ShellLearning/chapter10# cat stdout.txt | more
shell2.txt
shellError.txt
shell.txt
stderr.txt
stdout.txt
//标准错误输出作为另一个命令的标准输入
root@sparkmaster:~/ShellLearning/chapter10# ls + | more
ls: cannot access +: No such file or directory

有时我们既想将标准错误输出或标准输出重定向到一个文件当中,又想它作为另外一个命令的标准输入,这时可以使用tee命令

//标准输出重定向到文件teeStdout.txt当中,同时又作为more的标准输入
root@sparkmaster:~/ShellLearning/chapter10# ls  | tee teeStdout.txt | more
output.txt
shell2.txt
shellError.txt
shell.txt
stderr.txt
stdout.txt
teeStdout.txt
root@sparkmaster:~/ShellLearning/chapter10# cat teeStdout.txt 
output.txt
shell2.txt
shellError.txt
shell.txt
stderr.txt
stdout.txt
teeStdout.txt
相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
人工智能 分布式计算 大数据
大数据≠大样本:基于Spark的特征降维实战(提升10倍训练效率)
本文探讨了大数据场景下降维的核心问题与解决方案,重点分析了“维度灾难”对模型性能的影响及特征冗余的陷阱。通过数学证明与实际案例,揭示高维空间中样本稀疏性问题,并提出基于Spark的分布式降维技术选型与优化策略。文章详细展示了PCA在亿级用户画像中的应用,包括数据准备、核心实现与效果评估,同时深入探讨了协方差矩阵计算与特征值分解的并行优化方法。此外,还介绍了动态维度调整、非线性特征处理及降维与其他AI技术的协同效应,为生产环境提供了最佳实践指南。最终总结出降维的本质与工程实践原则,展望未来发展方向。
761 0
|
分布式计算 大数据 Apache
ClickHouse与大数据生态集成:Spark & Flink 实战
【10月更文挑战第26天】在当今这个数据爆炸的时代,能够高效地处理和分析海量数据成为了企业和组织提升竞争力的关键。作为一款高性能的列式数据库系统,ClickHouse 在大数据分析领域展现出了卓越的能力。然而,为了充分利用ClickHouse的优势,将其与现有的大数据处理框架(如Apache Spark和Apache Flink)进行集成变得尤为重要。本文将从我个人的角度出发,探讨如何通过这些技术的结合,实现对大规模数据的实时处理和分析。
1318 2
ClickHouse与大数据生态集成:Spark & Flink 实战
|
存储 分布式计算 Hadoop
从“笨重大象”到“敏捷火花”:Hadoop与Spark的大数据技术进化之路
从“笨重大象”到“敏捷火花”:Hadoop与Spark的大数据技术进化之路
854 79
|
存储 分布式计算 算法
大数据-106 Spark Graph X 计算学习 案例:1图的基本计算、2连通图算法、3寻找相同的用户
大数据-106 Spark Graph X 计算学习 案例:1图的基本计算、2连通图算法、3寻找相同的用户
518 0
|
消息中间件 分布式计算 NoSQL
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
大数据-104 Spark Streaming Kafka Offset Scala实现Redis管理Offset并更新
428 0
|
数据采集 分布式计算 大数据
不会Python,还敢说搞大数据?一文带你入门大数据编程的“硬核”真相
不会Python,还敢说搞大数据?一文带你入门大数据编程的“硬核”真相
353 1
|
SQL 分布式计算 大数据
SparkSQL 入门指南:小白也能懂的大数据 SQL 处理神器
在大数据处理的领域,SparkSQL 是一种非常强大的工具,它可以让开发人员以 SQL 的方式处理和查询大规模数据集。SparkSQL 集成了 SQL 查询引擎和 Spark 的分布式计算引擎,使得我们可以在分布式环境下执行 SQL 查询,并能利用 Spark 的强大计算能力进行数据分析。
|
数据采集 数据可视化 大数据
Python入门修炼:开启你在大数据世界的第一个脚本
Python入门修炼:开启你在大数据世界的第一个脚本
330 6
|
人工智能 DataWorks 大数据
大数据AI一体化开发再加速:DataWorks 支持GPU类型资源
大数据开发治理平台 DataWorks 的Serverless资源组支持GPU资源类型,以免运维、按需付费、弹性伸缩的Serverless架构,将大数据处理与AI开发能力无缝融合。面向大数据&AI协同开发场景,DataWorks提供了交互式开发和分析工具Notebook。开发者在创建个人开发环境时,可以选择GPU类型的资源作为Notebook运行环境,以支持进行高性能的计算工作。本教程将基于开源多模态大模型Qwen2-VL-2B-Instruct,介绍如何使用 DataWorks Notebook及LLaMA Factory训练框架完成文旅领域大模型的构建。
1172 24
|
数据采集 机器学习/深度学习 DataWorks
DataWorks产品评测:大数据开发治理的深度体验
DataWorks产品评测:大数据开发治理的深度体验
750 1