本篇文章记录工作中比较实用,能减轻工作量的bash命令。
1.字符串截取
假设有这么一个变量silo=/home/liujiacai/codes/cascalog/silo,那么
${silo##/*/}=silo ${silo#/*/}=liujiacai/codes/cascalog/silo
##表示取后面字符串最长的那段;#表示取最短的那段,这两个是从前面删除的
${silo%%/*/}=/home/liujiacai/codes/cascalog/silo ${silo%%/*}= (空) ${silo%/*}=/home/liujiacai/codes/cascalog
%%和##功能相同,不过这个是从后面开始删的。第一个什么也没删除是因为silo最后一个字符为‘o’不是‘/’,所以不变
Bash Shell可以进行变量的条件替换,既只有某种条件发生时才进行替换
${FOO:-word}
当没有FOO变量时,返回word
${FOO:=word}
当没有FOO变量时,返回word,并且把word赋值给FOO变量
${FOO:+word}
当定义了FOO变量时,返回word
${FOO:?msg}
当没有FOO变量时,把msg送到标准错误输出
${FOO:offset:length}
length可以为空
${#FOO}
变量FOO字符个数
${FOO/pattern/string}
字符串替换,最短原则
${FOO//pattern/string}
字符串替换,最长原则
如果FOO=aabbbbbbbcc,那么
echo ${FOO//bb/dd}返回aaddddddbcc
echo ${FOO//bb/dd}返回aaddbbbbbcc
2.正则表达式
以前在做java开发时也无数次遇到RE(regex expression),每次看我都以为我懂了,直到今天我才算是明白,我掌握的知识永远是那么冰山一角。扯蛋完毕。
Warning:正则表达式和通配符(wildcard)不一样。
正则表达式分基本RE与扩展RE之分,Bash中有个命令默认只认识基本的,比如grep,但是通过-e参数就能识别扩展的了;有的可以认识扩展,这点一定要搞清楚。
在基本表达式中有这么几个特殊字符,一定要记住
基本正则表达式的特殊字符 RE字符 含义与范例 ^word 待搜索的字符串(word)必须在行首 word$ 待搜索的字符串(word)必须在行尾 . 代表任意一个字符 \ 转移符,将有特殊符号的特殊意义去掉 * 重复前一个字符,一次或多次。WARN:这里和通配符中*含义不同 \{n,m\} 连续n到m个的“前一个重复字符” [word] []内的字符集合中任取一个字符 h[io]t 代表的是hit或者hot;其次是[0-9]、[a-z]等这种用法; 再其次是[^word],表示不含“w”、“o”、“r”、“d”中的字符再说说扩展RE的特殊字符
扩展正则表达式的特殊字符 RE字符 含义与范例 + 重复前一个字符一次或一次以上,比如go+d,,可以表示god、good、goood等等 ? 重复前一个字符零次或一次,比如go?d,表示gd、god | 表示或的意思,比如'gd|good',表示取gd或者good () 分组处理字符,比如'g(la|oo)d',可以表示glad或者good再提醒一次,“!”叹号在正则表达式中并不是特殊字符。
Unix-like系统还存在一类字符串匹配机制--globbing,在globbing中,*和通配符的用法是一样的,代表零个或多个任意字符。git的.gitignore文件就是使用的这种字符串匹配模式
详情参见:http://en.wikipedia.org/wiki/Glob_(programming)
3.find命令
find path [-name] pattern 在path路径下查找名字为pattern的文件,返回基于path的相对路径
find . -type f -exec file '{}' \;这条命令查找当前目录下的文件,并且作为file命令的参数执行。{}表示当前文件名,用单引号是防止{}被shell解释器解释为shell script punctuation,分号用反斜线也是这样目的,也可以用单引号代替反斜线。
find $HOME -mtime 0查找$HOME文件夹下在24小时之内修改过的文件。这里用0是因为-mtime选项对于每个文件的修改时间取其除以24后的商,余数舍弃。
find repo/ -exec test -d {}/.svn -o -d {}/.git -o -d {}/CVS ; \ -print -prune这个命令是用来查看项目的是否有.svn与.git与CVS目录的,-o 是-or的简写,表示前面的命令为false时才执行,{}表示当前处理的文件夹名,-prun e选项可以防止不必要的嵌套查找,假设repo有如下目录结构:
repo/project1/CVS
repo/gnu/project2/.svn
repo/gnu/project3/.svn
repo/gnu/project3/src/.svn
repo/project4/.git
带上-prune选项后就不会再搜索project3/.src目录了,因为已经找到了project3/.svn了。
4.xargs
这个命令在管道中特别有用
find /tmp -name core -type f -print | xargs /bin/rm -f这条命令查找/tmp文件夹下名为core的文件,并且把它删除。这时的文件名中不能有空格、换行符,解决方法是加上 -0参数。
当然上面这条命令还可以这么写:
find /tmp -depth -name core -type f -delete利用find的参数-delete选项,这样比用xargs效率更高,因为这样不用再调用 fork(2) and exec(2) 来launch rm和xargs进程。
这里的-depth选项指明“先处理文件夹中的内容在处理文件夹本身”,-delete本身就暗含了-depth选项。
<span style="font-family:System;">cut -d: -f1 < /etc/passwd | sort | xargs</span>这条命令用于显示passwd文件中记录的当前系统的用户。
需要注意的时,xargs并不能一定保证,命令正确执行,有可能xargs后面的命令在接受管道前面的输入时,系统执行其他命令,改变了xargs的输入。
5. bash中的比较
bash中有个test命令可以进行一系列的测试,man 一下可以看到解释为" check file types and compare values",具体语法为
test EXPRESSION其实我们最常用的是test的一个别名"[",没错,就是左方括号,语法为
[ EXPRESSION ]
EXPRESSION后面的右方括号是作为结束只用,没什么实际含义.
如果忽略EXPRESSION,那么返回false. 常用的EXPRESSION有如下这么几个:
( EXPRESSION ) EXPRESSION is true 需要注意一点的是,括号"(",")"需要用"\"转义 ! EXPRESSION EXPRESSION is false EXPRESSION1 -a EXPRESSION2 both EXPRESSION1 and EXPRESSION2 are true EXPRESSION1 -o EXPRESSION2 either EXPRESSION1 or EXPRESSION2 is true -n STRING the length of STRING is nonzero.STRING equivalent to -n STRING -z STRING the length of STRING is zero STRING1 = STRING2 the strings are equal STRING1 != STRING2 the strings are not equal INTEGER1 -eq INTEGER2 INTEGER1 is equal to INTEGER2 INTEGER1 -ge INTEGER2 INTEGER1 is greater than or equal to INTEGER2 INTEGER1 -gt INTEGER2 INTEGER1 is greater than INTEGER2 INTEGER1 -le INTEGER2 INTEGER1 is less than or equal to INTEGER2 INTEGER1 -lt INTEGER2 INTEGER1 is less than INTEGER2 INTEGER1 -ne INTEGER2 INTEGER1 is not equal to INTEGER2 FILE1 -ef FILE2 FILE1 and FILE2 have the same device and inode numbers FILE1 -nt FILE2 FILE1 is newer (modification date) than FILE2 FILE1 -ot FILE2 FILE1 is older than FILE2 -d FILE FILE exists and is a directory -e FILE FILE exists
test的这些Express和我们平常用的C/Java语言系列的判断不一样(比如需要对一些字符进行转义),这点让我们很不是适应,不过幸好,bash提供了补救方案,那就是"[[",使用"[["可以对文件名和字符串使用更自然的语法。可以用括号和逻辑操作符把 test 命令支持的测试组合起来。下面给出一个示例:
使用 [[ 复合命令,这里不再需要对"("与")"进行转义
[[ ( -d "$HOME" ) && ( -w "$HOME" ) ]] && echo "home is a writable directory"
参考:
http://www.ibm.com/developerworks/cn/linux/l-bash-test.html