终端中常用的高效率管道工具

终端作为日常开发比较常用的的工具，其方便程度被广大程序员所认可，但其实在使用命令行时，可以使用管道操作来对输出结果进行处理。

管道操作就是通过管道符|来将数据流进行传输，然后进行处理，理论上管道命令可以无限叠加。

下面我们就来总结以下一些常用的管道命令（练习文本如下）

VV
vv
aa
bb
bb
bb
cc
cc
11
dd
ee
CC
复制代码

grep

grep是使用最为频繁的一个管道命令，其作用是对文本进行过滤，例如我们需要从docker 镜像中筛选出 nginx

$ docker images | grep nginx
复制代码

当然这只是入门级的使用方案，grep还可以通过以下参数来使用更强的功能

不同参数之间可以组合使用，其命令效果如下

要注意使用正则元字符时需要加引号，否则无效

sort

sort从字面意思就能看出是排序的意思，它会对文本内容以行为单位进行排序，默认按照ASCII 码顺序排列。

还是之前的文本，这次我们排序输出

$ cat test | sort
复制代码

同样他也有参数选项

（uniq这个命令我们后面会说到）

uniq

uniq 用于忽略文件中连续重复的行

$ cat test | uniq
复制代码

tr

tr 命令常用于对来自标准输入的字符进行替换、压缩和删除

$ cat test | tr 'a-z' 'A-Z'
复制代码

cut

cut 命令用于显示行中的指定部分

输入制表符时，先按先 ctrl+v，然后在按下 Tab 键就可以输入 tab 字符

awk

逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。

语法如下

awk 'BEGIN{ commands } /pattern/ {commands} END{ commands }'
复制代码

• BEGIN{ commands }开始块就是在程序启动的时候执行的代码部分，并且它在整个过程中只执行一次。一般情况下，我们可以在开始块中初始化一些变量。 注意：开始块部分是可选的，你的程序可以没有开始块部分。
• /pattern/ {commands}pattern 部分匹配该行内容成功后，才会执行commands 的内容。
• END{ commands }结束块是在程序结束时执行的代码。 注意：结束块部分也是可选的

例如，我们要获取 docker 所有镜像的 ID，我们可以使用 awk 来进行过滤

$ docker images | awk '{print $3}'
复制代码

如果使用这些 ID 的还需要把首行去掉，那么我们就从第二行开始取

docker images | awk '(NR>1){print $3}'
复制代码

awk的内建变量如下

awk 的参数选项如下

awk循环和数组

现在我们有这么一个文件

user1 10 20 30 44 55
user2 99 10 45 66 42
user3 11 31 45 64 19
复制代码

我们要求出每个用户的平均值，我们可以使用 awk 脚本来执行

$ cat test | awk '{sum=0;for(c=2;c<NF;c++)  sum+=$c; print sum/(NF-1)}'
复制代码

这里用到的都是我们上面表格里面的内建变量，如果在优化一点可以在输出结果上添加 username

$ cat test | awk '{sum=0;for(c=2;c<NF;c++)  sum+=$c;average[$1]=sum/(NF-1)} END{for(user in average) print user,average[user]}'
复制代码