Shell基础之-uniq命令

uniq 命令用于去除文本文件中的重复行

首先，大家如果看到有什么不懂的地方，欢迎吐槽！！！
我会在当天或者第二天及时回复，并且改进~~

查看sort和uniq去除重复行的区别

   sort -t: -k7 -u /etc/passwd    //去除passwd文件中域7重复的行
   cat /etc/passwd | uniq         //去除passwd文件中域7重复的行

区别1:
   sort 可以对指定的域进行排序并且去除重复行
   uniq 则不可以对某个相同的域进行去除，只能去除记录相同的行

区别2:
   sort 在排序之后进行去除，排序之后相同的记录都连续排序在一起
   uniq 去除重复行时只能对连续重复的记录进行去除，而不连续的则无法去除

uniq命令选项及其意义

   -c  #打印每行在文本中重复出现的次数
   -d  #只显示有重复的记录，每个重复记录只出现一次
   -u  #只显示没有重复的记录

uniq命令示例：

打印出test文本中每行重复出现的次数
   #uniq -c test

只打印出test文本中重复的行
   #uniq -d test

只打印出test文本中不重复的行
   #uniq -u test

打印出test文本中重复的行出现的次数
   #uniq -cd test

打印出test文本中不重复的行出现的次数
   #uniq -cu test

sort 和 uniq 结合的命令

统计出一个文件内每种单词出现的次数

count=1
err1=55
err2=56

#if检测用法是否错误
if [ $# -ne $count ]
then
   echo "Usage: script file"
   exit $err1
fi

#if检测是否对文件进行统计
if [ ! -f $! ]
then
   echo "File $1 not does found"
   exit $err2
fi

sort $1 | uniq -c | sort -nr   #将文件进行排序，然后去除重复并统计行个数，最后按照数字从大到小输出