shell编程
1. shell和shell脚本
1.1 shell
Shell是一种具备特殊功能的程序，它是介于使用者和UNIX/Linux操作系统之核心程序 ( kernel) 之间的一个接口。
为了对用户屏蔽内核的复杂性，也为了保护内核 以免用户误操作造成损害，在内核的周围建立了一个外壳( shell ) 用户向shell提出要求 ，shell解释并将请求传给内核。
查看当前环境所使用的shell : echo $SHELL, 每个用户的缺省shell在系统里的/etc/passwd 文件里被指定。
常见的shell：
Bourne Shell (简称sh) ：由AT&T贝尔实验室的 Steven. Bourne开发。目前几乎所有的Linux系统 都支持它,将其作为应急Shell使用。
C Shell (简称csh) ：C Shell由加利福尼亚大学 伯克利分校开发。编程风格类似于C语言，健壮性不 如Bourne Shell。
Korn Shell (简称 ksh) ：与Bourne Shell向下完全兼容。Korn Shell 的效率很高，其命令交互界面和编程交互界面都很好。
Bourne Again Shell ( 简称bash ) ：是Bourne Shell 的增强版，已经成为最流行的Shell。能够提供环境变量以配置用户Shell环境， 支持历史记录，内置算术功能，支持通配符表达式，将常用命令内置简化。
1.2 shell脚本
Shell脚本：按照一定的语法结构把若干linux命令组合在一起，实现特定的功能。
Shell 脚本是纯文本文件。
Shell 脚本通常以.sh 作为后缀名，但不是必须。
Shell脚本是以行为单位的，在执行脚本的时候会分解成一 行一行依次执行。
2. shell脚本创建和执行方式
shell结构：
- 第一行一定要指明系统需要那种Shell解释用户的shell 程序， 如# !/bin/sh ，#!/bin/bash
- #注释行
- 命令和控制结构
创建shell程序的步骤：
- 创建一个包含命令和控制结构的文件。
- 修改这个文件的权限，使它可以执行。
chmod u+x
执行
./xxxx.sh # 或者： bash xxxx.sh
3. shell变量
像高级程序设计语言一样，Shell也提供说明和使用变量的功能。
Shell只要有以下4种变量：
用户自定义的变量；
位置变量；
预定义变量；
环境变量；
3.1 用户自定义的变量
用户自定义变量名由字母和下划线组成，并且变量名第一个字母不能为数字。
用户自定义变量定义：
变量名=变量值
注意事项：
变量不需声明，可直接使用或者赋值
在给变量赋值时，等号两边一定不能留空格，若变量中本身就包含了空格，则整个字符串都要用双引号括起来。
查看所有的变量，可以使用set命令；
[root@localhost hadoop]# SUN=sun [root@localhost hadoop]# set|grep SUN SUN=sun
使用变量时，可以在变量名前面加一个美元符号$。建议在变量名字两边$后面加上{};
[root@localhost hadoop]# echo ${SUN} sun [root@localhost hadoop]# echo ${SUN}day sunday [root@localhost hadoop]# echo $SUNday # 空
使用readonly命令可以将变量定义为只读变量。
readonly ABC=aaa
清除变量：
unset 变量名 unset SUN
三种特殊符号：
``反引号：执行反引号中命令，将结果赋给变量。
’‘单引号：原封不动的输出
“” 双引号：括起来的字符除美元符号($)、反斜杠(\) 、反引号(`) 和双引号(")之外都将作为普通字符对待。
[root@localhost hadoop]# H1=hello [root@localhost hadoop]# W1='${H1},world [root@localhost hadoop]# W2="${H1},world" [root@localhost hadoop]# echo ${W1} ${H1},world [root@localhost hadoop]# echo ${W2} hello,world [root@localhost etc]# ll 总用量 4 drwxr-xr-x. 2 huyuyang huyuyang 4096 11月 23 13:44 hadoop [root@localhost etc]# W3=`ll` [root@localhost etc]# echo ${W3} 总用量 4 drwxr-xr-x. 2 huyuyang huyuyang 4096 11月 23 13:44 hadoop
3.2 位置变量
位置参数是一种在调用Shell程序的命令行中按照各自的位置决定的变量，是在程序名之后输入的参数。$0是一个比较特殊的位置参数，用于表示脚本自己的文件名。
$0：脚本程序的名字。
$1,$2...$9：传递给脚本的某个参数，$1 代表第1个参数， $2代表第2个参数，依此类推。
例子和预定义变量一起；
3.3 预定义变量：
预定义变量是在Shell一开始时就定义了的变量，由符号$和另一个符号组成的，只能使用，不能修改。
$#：传递到脚本的参数的数量；
$*：以"参数1参数2… "形式保存所有参数；
$@：以"参数1" “参数2” …形式保存所有参数；
$?：命令执行后返回的状态，0表示成功执行，其他值则表明执行错误；
$$：当前进程的进程号 ；
$!：后台运行的最后一个进程号；
3.2-3 例子：
[root@VM-24-17-centos shellstudy]# cat test.sh #!/bin/bash # 学习位置变量与预定义变量 echo '$# is：' $# echo '$* is：' $* echo '$? is：' $? echo '$$ is：' $$ echo '$@ is：' $@ echo '$0 is：' $0 echo '$2 is：' $2 # 使test.sh拥有执行权限 [root@VM-24-17-centos shellstudy]# chmod u+x test.sh [root@VM-24-17-centos shellstudy]# ./test.sh p1 p2 p3 p4 $# is： 4 $* is： p1 p2 p3 p4 $? is： 0 $$ is： 200606 $@ is： p1 p2 p3 p4 $0 is： ./test.sh $2 is： p2
3.4 环境变量
环境变量又称全局变量， 通常，由系统在启动时设置，环境变量一般用大写字母表示。
- 查看环境变量：
env
[root@VM-24-17-centos shellstudy]# env | grep JAVA_HOME JAVA_HOME=/usr/local/applications/java/jdk1.8.0_221 CLASSPATH=%JAVA_HOME%/lib:%JAVA_HOME%/jre/lib
使用export命令将变量添加到环境中， 作为临时的环境变量(一种全局变量)。
[root@VM-24-17-centos shellstudy]# env | grep EMAIL [root@VM-24-17-centos shellstudy]# export EMAIL=2582952862@qq.com [root@VM-24-17-centos shellstudy]# env | grep EMAIL EMAIL=2582952862@qq.com
3.5 变量替换
可以使用以下几种变量替换形式(replacevar.sh)：
${var}：替换为变量本来的值。
${var:-word}：如果变量var为空或已被删除，则返word，但不改变var的值。
[root@VM-24-17-centos shellstudy]# echo ${SUN} # 空 [root@VM-24-17-centos shellstudy]# echo ${SUN:-word} word [root@VM-24-17-centos shellstudy]# echo ${SUN} # 空
${var:+word}：如果变量var被定义，则返word,但不改变var的值。
${var:=word}：如果变量var为空或已被删除，则返word，并将变量var的值设置为word。
${var:?message}：如果变量var为空或已被删除，则将消息message发送到标准输出错误中，可以用来检测变量var是否可以被正常赋值。这种替换出现在shell脚本中，脚本将停止运行。
[root@VM-24-17-centos shellstudy]# echo ${SUN:?hyy} -bash: SUN: hyy
【例子1】
[root@VM-24-17-centos shellstudy]# vim replacevar.sh #!/bin/bash username=hyy a=${username:-`whoami`} b=${username:+`whoami`} c=${username:=`whoami`} echo "username=${username} a=${a}" echo "username=${username} b=${b}" echo "username=${username} c=${c}" echo "now, unsert username" unset username a=${username:-`whoami`} echo "username=${username} a=${a}" b=${username:+`whoami`} echo "username=${username} b=${b}" c=${username:=`whoami`} [root@VM-24-17-centos shellstudy]# chmod u+x replacevar.sh [root@VM-24-17-centos shellstudy]# ./replacevar.sh username=hyy a=hyy username=hyy b=root username=hyy c=hyy now, unsert username username= a=root username= b= username=root c=root [root@VM-24-17-centos shellstudy]# echo ${SUN:?'var:SUN not exist'} -bash: SUN: var:SUN not exist
另外也可以通过如下操作取变量内容(modvar.sh)
准备：
[root@VM-24-17-centos shellstudy]# var=/dirl/dir2/file.txt
求字符串的长度
[root@VM-24-17-centos shellstudy]# echo ${#var} 19
提取位置3到最后的字符
[root@VM-24-17-centos shellstudy]# echo ${var:3} rl/dir2/file.txt
从位置3，开始提取5个字符
[root@VM-24-17-centos shellstudy]# echo ${var:3:5} rl/di
从左边开始，删除最短匹配ir
[root@VM-24-17-centos shellstudy]# echo ${var#*ir} l/dir2/file.txt
从左边开始， 删除最长匹配ir,这里的*表示删除
[root@VM-24-17-centos shellstudy]# echo ${var##*ir} 2/file.txt
从右边开始，删除最短匹配di，注意:这里的*在后面。
[root@VM-24-17-centos shellstudy]# echo ${var%di*} /dirl/
- 从右边开始， 删除最长匹配di
[root@VM-24-17-centos shellstudy]# echo ${var%%di*} /
用yst替换第一个匹配的root，如果需要把/替换掉，需要加转义字符\
[root@VM-24-17-centos shellstudy]# echo ${var/dir/yst} /ystl/dir2/file.txt
【例子2】
[root@VM-24-17-centos shellstudy]# vim modvar.sh #!/bin/bash var=/dirl/dir2/file.txt echo ${#var} echo ${var:3} echo ${var:3:5} echo ${var#*ir} echo ${var##*ir} echo ${var%di*} echo ${var%%di*} echo ${var/dir/yst} unset var [root@VM-24-17-centos shellstudy]# chmod u+x modvar.sh [root@VM-24-17-centos shellstudy]# ./modvar.sh 19 rl/dir2/file.txt rl/di l/dir2/file.txt 2/file.txt /dirl/ / /ystl/dir2/file.txt
