linux命令之uniq

简介: linux命令之uniq

uniq 是一个在Linux和类Unix系统中用于处理文本文件的命令,它的主要功能是识别并去除(或者操作)相邻且重复的行。这个命令假定输入数据已经预先排序;如果不排序,uniq 可能无法正确地识别重复行。

以下是 uniq 命令的基本用法及其选项:

uniq [选项]... [输入文件]
  • -c, --count: 在每行前加上该行重复次数。
  • -d, --repeated: 仅显示重复出现的行。
  • -u, --unique: 显示唯一的、不重复的行。
  • -D: 打印所有重复行,而不仅仅是第一次出现的行。
  • --all-repeated[=METHOD]: 类似 -D,但可以接受空行分隔的重复行组,并可以选择如何输出这些组(none, prepend, separate)。
  • -f N, --skip-fields=N: 跳过比较前N个字段(由制表符或空格分隔)。
  • -s N, --skip-chars=N: 跳过比较前N个字符。
  • --group[=METHOD]: 输出时,在不同重复组之间插入空行,允许指定插入位置(separate, prepend, append, both)。
  • -i, --ignore-case: 忽略大小写差异。

例如:

  • 显示重复行及重复次数:sort file.txt | uniq -c
  • 只显示重复的行:sort file.txt | uniq -d
  • 只显示唯一不同的行:sort file.txt | uniq -u

注意,uniq 处理的是相邻的重复行,所以在实际应用中通常需要先对数据进行排序,确保可能重复的行相邻,然后再使用 uniq 进行去重或计数等操作。

目录
相关文章
|
2天前
|
Linux
Linux常用命令包括
Linux常用命令包括
10 5
|
2天前
|
Linux
Linux命令
Linux命令
13 5
|
6天前
|
Linux Python Perl
Linux命令删除文件里的字符串
Linux命令删除文件里的字符串
18 7
|
6天前
|
Shell Linux
Linux shell编程学习笔记82:w命令——一览无余
Linux shell编程学习笔记82:w命令——一览无余
|
22天前
|
设计模式 Java Linux
Linux的20个常用命令
Linux的23个常用命令
Linux的20个常用命令
|
8天前
|
Linux Perl
Linux之sed命令
Linux之sed命令
|
8天前
|
Linux
深入理解Linux中的cp命令:文件与目录的复制利器
深入理解Linux中的cp命令:文件与目录的复制利器
|
8天前
|
Linux Docker 容器
9. 同步执行Linux多条命令
9. 同步执行Linux多条命令
|
8天前
|
Linux Shell
10-10|linux命令查询 关键字在文本中出现的行数
10-10|linux命令查询 关键字在文本中出现的行数
|
9天前
|
存储 Linux Shell
常用vim命令和vim基本使用及Linux用户的管理,用户和组相关文件
这篇文章介绍了Vim编辑器的基本使用、常用命令和模式,以及Linux系统中用户和组的管理方法,包括用户和组相关文件如/etc/passwd、/etc/shadow和/etc/group的说明。
常用vim命令和vim基本使用及Linux用户的管理,用户和组相关文件
下一篇
无影云桌面