Linux系统开发: 学习linux三剑客(awk、sed、grep)(上)

$  grep  bash   file_read.sh   #在file_read.sh内查找bash  
$  grep  "bash"   file_read.sh  --color=auto  #两者效果相同，并且标记颜色
$ grep  "bash"   file_read.sh  demo.sh   #在file_read.sh  demo.sh 内查找bash

$  grep  "bash"   -r  ./   #在当前目录下查找文件内容bash
$  grep  "bash"   -R  ./
$  grep  "bash"   -d recurse  ./

$  grep  "bash"  -n  file_read.sh   #在file_read.sh内查找bash 
$  grep  "bash"   -Rn  ./
$  grep  "bash"   -r  -n  ./

$  grep  "bash"   -vn  demo.sh  #显示demo.sh内不包含bash的行，并显示行号

$  grep   "^#"   demo.sh  #查找demo.sh内以#开头的行，注意前面不能有空白字符，必须是最开头

$ grep   "^$"    123.txt

$ grep  "^[^#]"  demo.sh   #在demo.sh中查找不以#开头的行

$  grep   "name$"  demo.sh   #查找demo.sh内以name结尾的行，注意必须是最后且后面不能有空白字符

$ grep "name"  demo.sh  -c   # 在demo.sh中查找name出现的行数

$ grep  "name"  demo.sh  -A  2   #显示查找内容及其后两行内容
$ grep  "name"  demo.sh  -B  2  #显示查找内容及其前两行内容
$ grep  "name"  demo.sh  -C  2  #显示查找内容及其前后两行内容

$ grep  "[1-3]\{2\}"  123.txt   #在123.txt中查找1-3之间数字出现两次的内容，注意{}前后一定要加转义字符
$ grep  -E  "[1-3]{2}"  123.txt  #或者直接使用-E参数指定使用正则表达式，则可不加转义
$ grep  "[1-3][1-3]"  123.txt   #与上面相同效果，也表示在123.txt中查找1-3之间数字出现两次的内容
$ifconfig | grep  "[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}"    

sed  [options]  'command'  file(s)
sed  [options]  -f  scriptfile  file(s)

-c/--copy  用拷贝代替重命名
-e<script>/--expression=<script>   以选项中的指定的脚本来处理输入的文本文件；
-f<script文件>/--file=<script文件>   以选项中指定的脚本文件来处理输入的文本文件；
--follow-symlinks  处理输入的文本文件时，追踪软链接，断开硬链接
-h/--help   显示帮助；
-i[SUFFIX]/ --in-place[=SUFFIX] 就地编辑文件，提供了后缀名（.bak）则备份文件
 -l N/ --line-length=N  为l命令指定换行的长度n
-n/--quiet/——silent   不自动打印模式空间内容，仅显示脚本处理后的结果，sed默认打印全部内容
--posix  禁用所有GNU扩展
-u/ --unbuffered  从输入文件中加载最小的数据并频繁刷新输出缓冲区
-V/--version   显示版本信息。
-r/--regexp-extended 支持使用扩展正则表达式
-s/--separate  把文件作为单独的个体而不是作为单个连续的长流

a\ 在当前行下面插入文本。
i\ 在当前行上面插入文本。
c\ 把选定的行改为新的文本。
d 删除，删除选择的行。
D 删除模板块的第一行。
s 替换指定字符，字符间可用/或@或#隔开
h 拷贝模板块的内容到内存中的缓冲区。
H 追加模板块的内容到内存中的缓冲区。
g 获得内存缓冲区的内容，并替代当前模板块中的文本。
G 获得内存缓冲区的内容，并追加到当前模板块文本的后面。
l 列表不能打印字符的清单。
n 读取下一个输入行，用下一个命令处理新的行而不是用第一个命令。
N 追加下一个输入行到模板块后面并在二者间嵌入一个新行，改变当前行号码。
p 打印模板块的行。前面可加数字，指定打印第几行
P(大写) 打印模板块的第一行。
q 退出Sed。
b lable 分支到脚本中带有标记的地方，如果分支不存在则分支到脚本的末尾。
r file 从file中读行。
t label if分支，从最后一行开始，条件一旦满足或者T，t命令，将导致分支到带有标号的命令处，或者到脚本的末尾。
T label 错误分支，从最后一行开始，一旦发生错误或者T，t命令，将导致分支到带有标号的命令处，或者到脚本的末尾。
w file 写并追加模板块到file末尾。 
W file 写并追加模板块的第一行到file末尾。 
! 表示后面的命令对所有没有被选定的行发生作用。  示例：1！表明对文中所有行起作用，3！表示对文中第三行及以下行起作用
= 打印当前行号码。 
# 把注释扩展到下一个换行符以前。 

g 表示行内全面替换。 
p 表示打印行。 
w 表示把行写入一个文件。 
x 表示互换模板块中的文本和缓冲区中的文本。 
y 表示把一个字符翻译为另外的字符（但是不用于正则表达式）
\1 子串匹配标记
& 已匹配字符串标记

^ 匹配行开始，如：/^sed/匹配所有以sed开头的行。
$ 匹配行结束，如：/sed$/匹配所有以sed结尾的行。
. 匹配一个非换行符的任意字符，如：/s.d/匹配s后接一个任意字符，最后是d。
* 匹配0个或多个字符，如：/*sed/匹配所有模板是一个或多个空格后紧跟sed的行。
[] 匹配一个指定范围内的字符，如/[sS]ed/匹配sed和Sed。 
[^] 匹配一个不在指定范围内的字符，如：/[^A-RT-Z]ed/匹配不包含A-R和T-Z的一个字母开头，紧跟ed的行。
.... 匹配子串，保存匹配的字符，如s/loveloveable/\1rs，loveable被替换成lovers。
& 保存搜索字符用来替换其他字符，如s/love/**&**/，love这成**love**。
\< 匹配单词的开始，如:/\<love/匹配包含以love开头的单词的行。
\> 匹配单词的结束，如/love\>/匹配包含以love结尾的单词的行。
x\{m\} 重复字符x，m次，如：/0\{5\}/匹配包含5个0的行。
x\{m,\} 重复字符x，至少m次，如：/0\{5,\}/匹配至少有5个0的行。
x\{m,n\} 重复字符x，至少m次，不多于n次，如：/0\{5,10\}/匹配5~10个0的行。

/ 在sed中作为定界符使用，也可以使用任意的定界符：| /
定界符出现在样式内部时，需要进行转义,示例：sed 's/\/bin/\/usr\/local\/bin/g'
不给地址：对全文进行处理
$：表示最后一行
地址范围：
选定行的范围：,（逗号）
/pattern/：被此处模式所能够匹配到的每一行
/pattern/,m:被模式匹配到的第一行起到m行
n,m  表示从n行到第m行
n,+m 表示从n行起往后增加m行
n~m：步进：以n行为基准值，每次增加m行

sed  '表达式' | sed '表达式'
等价于：
sed  '表达式; 表达式'

$ sed   '='  123.txt    #显示文本的每一行行号
$ sed   '3='  123.txt   #显示文本的第三行行号
$  sed  "/./="  123.txt  #只显示非空白行的行号
$ sed -n  "/./!="  123.txt   #只显示空白行行号

$ sed   '$='  123.txt  #可显示123.txt内总共有多少行，也就是最后一行的行号

$ sed  -n  '2p'  123.txt   #注意一定要加-n，否则会默认自动打印所有内容
$ sed  -n  '2 p'  123.txt   #注意一定要加-n，否则会默认自动打印所有内容

$sed  -n  '2,7 p'  123.txt   #注意一定要加-n，否则会默认自动打印所有内容
$ sed  -n  '2,7p'   123.txt
$ sed  -n  '2,7 {p}'  123.txt  #命令也可单独用{}括起来

$ sed  -i  's/bck/sh/'  123.txt  666.txt  #替换123.txt、666.txt内的bck为sh，每行只替换一个
$ sed  -i  's/bck/sh/g'  123.txt   #替换123.txt内的bck为sh，每行都进行全面替换
$ sed  -i  's/bck/sh/3g'  123.txt   #替换123.txt内的bck为sh，从第3个匹配位置开始替换
$ sed  -i  's@bck@sh@g'  123.txt   #替换123.txt内的bck为sh，每行都进行全面替换
$ sed  -i  's#bck#sh#g'  123.txt   #替换123.txt内的bck为sh，每行都进行全面替换

$ sed  -i  '1,5 s/bck/sh/g'  123.txt  666.txt  #替换123.txt、666.txt内的第一行到第五行的bck为sh，每行全面替换
$ sed  -i  '2,+2 {s/bck/sh/g}'  123.txt  666.txt  #替换123.txt、666.txt内的第二行往后两行的bck为sh，每行全面替换，命令也可以单独用{}括起来，表示边界
$ sed  -i  '2~2 s/bck/sh/g'  123.txt  666.txt  #替换123.txt、666.txt内的第二行往后每次增加两行的bck为sh，每行全面替换

$ ls | sed  's/^/666_&/g'  #表示给当前文件下的文件名统一添加前缀
$ ls | sed  's/$/666_&/g'  #表示给当前文件下的文件名统一添加后缀
$ ls | sed  's/\w\+/666_&/g'  #表明给所有的单词添加前缀
$ ls | sed  's/\w\+/[&]/'    #表明给每个匹配到的单词用[]括起来

$ sed  -n  '1,10 {/^10/p}'  123.txt   #显示123.txt内第1到第10行中以10开头的行
$ sed  -n  '/^10/p'   123.txt        #  /前没有地址定界则可以不加{}，如果有则必须加上
$ sed  -n  '1,10 {/sh$/p}'  123.txt   #显示123.txt内第1到第10行中以结尾的行

$  sed  -n  '/sh/p'  123.txt  #显示123.txt内的所有包含sh的所有行
$  sed  -n  '/sh/ ,$  p'  123.txt   #显示123.txt里第一条包含sh的行及以下到末尾的所有行
$  sed  -n  '/sh/ ,$p'  123.txt   

$ sed  '1!G;h;$!d'  123.txt

$ sed  '/\n/!G;s/..∗\n/&\2\1/;//D;s/.//'  123.txt

$ grep -n "sh" 123.txt | sed  '4,5d'   #删除grep查找到的内容的第4到5行
$ grep -n "sh" 123.txt | sed  '1,2d'   #删除grep查找到的内容的第1行后每次隔两行删一行
$ sed  '/^$/d'  123.txt     #删除空白行

$ sed  'a\hello\'  123.txt  #在123.txt的末行后增加一行hello
$ sed  'i\hello\'  123.txt  #在123.txt的末行前增加一行hello
$ sed  'c\hello\'  123.txt  #替换123.txt的所有行为hello
$ sed   '8a\hello\'  123.txt   #在123.txt的第8行后增加一行hello
$ sed   '8,10a\hello\'  123.txt  #在123.txt的第8行到10行每一行后增加一行hello
$ sed   '8,10c\hello\'  123.txt  #在123.txt的第8行到10行替换为一行hello

$ sed  -e  '1,5d'  -e  's/sh/bck/'  123.txt     #先删除1到5行再替换sh为bck
$ sed   '1,5d;s/sh/bck/'  123.txt       #三者效果相同
$ sed --expression='1,5d' --expression='s/sh/bck/' 123.txt #三者效果相同