linux命令之uniq

简介: linux命令之uniq

uniq 是一个在Linux和类Unix系统中用于处理文本文件的命令,它的主要功能是识别并去除(或者操作)相邻且重复的行。这个命令假定输入数据已经预先排序;如果不排序,uniq 可能无法正确地识别重复行。

以下是 uniq 命令的基本用法及其选项:

uniq [选项]... [输入文件]
  • -c, --count: 在每行前加上该行重复次数。
  • -d, --repeated: 仅显示重复出现的行。
  • -u, --unique: 显示唯一的、不重复的行。
  • -D: 打印所有重复行,而不仅仅是第一次出现的行。
  • --all-repeated[=METHOD]: 类似 -D,但可以接受空行分隔的重复行组,并可以选择如何输出这些组(none, prepend, separate)。
  • -f N, --skip-fields=N: 跳过比较前N个字段(由制表符或空格分隔)。
  • -s N, --skip-chars=N: 跳过比较前N个字符。
  • --group[=METHOD]: 输出时,在不同重复组之间插入空行,允许指定插入位置(separate, prepend, append, both)。
  • -i, --ignore-case: 忽略大小写差异。

例如:

  • 显示重复行及重复次数:sort file.txt | uniq -c
  • 只显示重复的行:sort file.txt | uniq -d
  • 只显示唯一不同的行:sort file.txt | uniq -u

注意,uniq 处理的是相邻的重复行,所以在实际应用中通常需要先对数据进行排序,确保可能重复的行相邻,然后再使用 uniq 进行去重或计数等操作。

目录
相关文章
|
15天前
|
Web App开发 Linux 网络安全
工作中常用到的Linux命令
工作中常用到的Linux命令
|
16天前
|
Web App开发 Java Linux
Linux之Shell基本命令篇
Linux之Shell基本命令篇
Linux之Shell基本命令篇
|
3天前
|
机器学习/深度学习 缓存 监控
linux查看CPU、内存、网络、磁盘IO命令
`Linux`系统中,使用`top`命令查看CPU状态,要查看CPU详细信息,可利用`cat /proc/cpuinfo`相关命令。`free`命令用于查看内存使用情况。网络相关命令包括`ifconfig`(查看网卡状态)、`ifdown/ifup`(禁用/启用网卡)、`netstat`(列出网络连接,如`-tuln`组合)以及`nslookup`、`ping`、`telnet`、`traceroute`等。磁盘IO方面,`iostat`(如`-k -p ALL`)显示磁盘IO统计,`iotop`(如`-o -d 1`)则用于查看磁盘IO瓶颈。
|
13天前
|
NoSQL Linux Shell
常用的 Linux 命令
常用的 Linux 命令
35 9
|
1天前
|
Ubuntu Linux Shell
linux免交互登陆远程主机并执行命令(密钥对和Expect)
linux免交互登陆远程主机并执行命令(密钥对和Expect)
|
1天前
|
Linux
【Linux】常用命令
【Linux】常用命令
5 0
|
1天前
|
安全 Ubuntu Linux
Linux 网络操作命令Telnet
Linux 网络操作命令Telnet
4 0
Linux 网络操作命令Telnet
|
2天前
|
Linux 数据安全/隐私保护
Linux常用命令实例带注释
Linux常用命令实例带注释
24 0
|
2天前
|
Linux 开发工具 数据安全/隐私保护
Linux(19)常用解压命令记录
Linux(19)常用解压命令记录
7 0
|
3天前
|
Linux Perl
Linux系统替换字符串常用命令
请注意,`sed`命令可以非常强大,可以根据不同的需求使用不同的选项和正则表达式来进行更复杂的字符串替换操作。
16 0