linux命令之uniq

简介: linux命令之uniq

uniq 是一个在Linux和类Unix系统中用于处理文本文件的命令,它的主要功能是识别并去除(或者操作)相邻且重复的行。这个命令假定输入数据已经预先排序;如果不排序,uniq 可能无法正确地识别重复行。

以下是 uniq 命令的基本用法及其选项:

uniq [选项]... [输入文件]
  • -c, --count: 在每行前加上该行重复次数。
  • -d, --repeated: 仅显示重复出现的行。
  • -u, --unique: 显示唯一的、不重复的行。
  • -D: 打印所有重复行,而不仅仅是第一次出现的行。
  • --all-repeated[=METHOD]: 类似 -D,但可以接受空行分隔的重复行组,并可以选择如何输出这些组(none, prepend, separate)。
  • -f N, --skip-fields=N: 跳过比较前N个字段(由制表符或空格分隔)。
  • -s N, --skip-chars=N: 跳过比较前N个字符。
  • --group[=METHOD]: 输出时,在不同重复组之间插入空行,允许指定插入位置(separate, prepend, append, both)。
  • -i, --ignore-case: 忽略大小写差异。

例如:

  • 显示重复行及重复次数:sort file.txt | uniq -c
  • 只显示重复的行:sort file.txt | uniq -d
  • 只显示唯一不同的行:sort file.txt | uniq -u

注意,uniq 处理的是相邻的重复行,所以在实际应用中通常需要先对数据进行排序,确保可能重复的行相邻,然后再使用 uniq 进行去重或计数等操作。

目录
相关文章
|
19天前
|
Linux 网络安全 Python
linux后台运行命令screen的使用
linux后台运行命令screen的使用
52 2
linux后台运行命令screen的使用
|
19天前
|
Ubuntu Linux
查看Linux系统架构的命令,查看linux系统是哪种架构:AMD、ARM、x86、x86_64、pcc 或 查看Ubuntu的版本号
查看Linux系统架构的命令,查看linux系统是哪种架构:AMD、ARM、x86、x86_64、pcc 或 查看Ubuntu的版本号
130 3
|
25天前
|
存储 监控 安全
在Linux中,⼀个EXT3的文件分区,当使用touch test.file命令创建⼀个新文件时报错,报错的信息是提示磁盘已满,但是采用df -h命令查看磁盘大小时,只使用了,60%的磁盘空间,为什么会出现这个情况?
在Linux中,⼀个EXT3的文件分区,当使用touch test.file命令创建⼀个新文件时报错,报错的信息是提示磁盘已满,但是采用df -h命令查看磁盘大小时,只使用了,60%的磁盘空间,为什么会出现这个情况?
|
15天前
|
机器学习/深度学习 安全 网络协议
Linux防火墙iptables命令管理入门
本文介绍了关于Linux防火墙iptables命令管理入门的教程,涵盖了iptables的基本概念、语法格式、常用参数、基础查询操作以及链和规则管理等内容。
174 73
|
8天前
|
Linux Shell
Linux 中 Tail 命令的 9 个实用示例
Linux 中 Tail 命令的 9 个实用示例
30 6
Linux 中 Tail 命令的 9 个实用示例
|
13天前
|
Linux 应用服务中间件 nginx
|
6天前
|
存储 Linux 编译器
linux中vim介绍以及常用命令大全
linux中vim介绍以及常用命令大全
27 8
|
4天前
|
设计模式 Java Linux
Linux的20个常用命令
Linux的23个常用命令
Linux的20个常用命令
|
8天前
|
机器学习/深度学习 安全 网络协议
Web安全-Linux网络命令
Web安全-Linux网络命令
11 1
|
13天前
|
Ubuntu Linux Shell
Linux系统命令 安装和文件相关命令
本文档详细介绍了Linux系统中的常用命令,包括软件安装卸载命令如`dpkg`和`apt-get`,压缩与解压命令如`gzip`、`bzip2`和`xz`,以及`tar`命令用于打包和解包。此外还介绍了文件分割命令`split`,文件操作命令如`cat`、`head`、`tail`、`more`、`less`等,管道命令和`wc`、`grep`、`find`、`cut`、`sort`、`uniq`、`diff`等实用工具。最后,文档还讲解了文件属性相关的命令如`chmod`、`chown`、`chgrp`以及创建硬链接和软链接的`ln`命令。