linux命令之uniq
1.uniq介绍
linux命令uniq是用来删除经过排序后的数据的重复记录。uniq去重只能去除连续的重复行，所以一般先用sort排序，再去重统计重复的数据
2.uniq用法
uniq [参数]
uniq参数
参数 说明
-c 统计重复的数据
3.实例
3.1.统计http access.log文件中状态码
命令：
cat access.log | awk '{print $9}' | sort | uniq -c
[root@centos79 nginx]# pwd
/var/log/nginx
[root@centos79 nginx]# ls
access.log error.log
[root@centos79 nginx]# cat access.log | awk '{print $9}' | sort | uniq -c
4 200
2 404
[root@centos79 nginx]#
3.2.统计http access.log文件中谁访问过网站
命令：
cat access.log | awk '{print $1}' | uniq -c | sort -nr
[root@centos79 nginx]# pwd
/var/log/nginx
[root@centos79 nginx]# ls
access.log error.log
[root@centos79 nginx]# cat access.log | awk '{print $1}' | uniq -c | sort -nr
6 192.168.10.1
[root@centos79 nginx]#
3.3.统计/etc/passwd中每种shell的使用情况
命令：
cat /etc/passwd | cut -d: -f 7 | uniq -c | sort -nr
[root@centos79 nginx]# cat /etc/passwd | cut -d: -f 7 | uniq -c | sort -nr
36 /sbin/nologin
4 /sbin/nologin
4 /bin/bash
2 /bin/bash
1 /sbin/shutdown
1 /sbin/nologin
1 /sbin/halt
1 /bin/sync
1 /bin/bash
[root@centos79 nginx]#
3.4.统计http access.log文件中访问次数最多的前两个ip地址，以及出现次数最多的两个状态码
命令：
cat access.log |awk '{print $1,$9}' | uniq -c | sort -r | head -2
[root@cent79-2 nginx]# cat access.log |awk '{print $1,$9}' | uniq -c | sort -r | head -2
4 192.168.10.1 200
2 192.168.10.1 404
————————————————
版权声明：本文为CSDN博主「小黑要上天」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/z19861216/article/details/132812097
