本文的sort命令是GNU版本(8.22), 和BSD的sort不同
sort
是我最常用Linux命令之一,它的功能就是排序,一般后面还会和uniq
搭配,对数据进行去重。
下面的操作假设你有一个文件,叫做chr.txt
, 内容如下, 不同列之间用制表符分隔
Chr3 20251812 20254323 +
Chr1 471971 473336 -
Chr3 21701520 21703114 +
Chr3 18709613 18710836 +
Chr5 25645209 25646845 -
Chr1 3055231 3056997 -
Chr1 28881539 28885023 +
最简单的用法就是只给一个文件作为输入,默认就是从左到右逐个字符的进行比较,
$ sort chr.txt
Chr1 28881539 28885023 +
Chr1 3055231 3056997 -
Chr1 471971 473336 -
Chr3 18709613 18710836 +
Chr3 20251812 20254323 +
Chr3 21701520 21703114 +
Chr5 25645209 25646845 -
默认是从小到大,也可以用-r, --reverse
实现从大到小进行排序
$ sort -r chr.txt
Chr5 25645209 25646845 -
Chr3 21701520 21703114 +
Chr3 20251812 20254323 +
Chr3 18709613 18710836 +
Chr1 471971 473336 -
Chr1 3055231 3056997 -
Chr1 28881539 28885023 +
如果你想指定某一列进行排序,需要用到参数-k, --key=KEYDEF
, 其中KEYDEF就是你指定的列
$ sort -k2 chr.txt
Chr3 18709613 18710836 +
Chr3 20251812 20254323 +
Chr3 21701520 21703114 +
Chr5 25645209 25646845 -
Chr1 28881539 28885023 +
Chr1 3055231 3056997 -
Chr1 471971 473336 -
你会发现一个不对劲的情况,为啥28881539会比3055231小?因为默认情况下,sort将数字当做字符处理,从左到右,逐个比较字符,在第一个数字上,2是比3小,因此28881539在前3055231在后。如果你需要按照数值大小进行排序,那么就需要一个额外参数-n,--numeric-sort
$ sort -nk2 chr.txt
Chr1 471971 473336 -
Chr1 3055231 3056997 -
Chr3 18709613 18710836 +
Chr3 20251812 20254323 +
Chr3 21701520 21703114 +
Chr5 25645209 25646845 -
Chr1 28881539 28885023 +
那能不能先根据第一列然后根据第二列排序呢?
$ sort -k1,1 -k2,2n chr.txt
Chr1 471971 473336 -
Chr1 3055231 3056997 -
Chr1 28881539 28885023 +
Chr3 18709613 18710836 +
Chr3 20251812 20254323 +
Chr3 21701520 21703114 +
Chr5 25645209 25646845 -
你可能对这里面 -k1,1 -k2,2n
感觉特别的奇怪,这是因为我还没有说明KEYDEF到底是什么
KEYDEF的定义是 F.C,F[OPTS]]。这里[]
就是可填可不填的意思,例如一开始的k2
就是只填了第一个F。F表示filed, 也就是列,这里一共有两个F,分别用于排序键值的起始位置列和结束位置列。举个例子
$ sort -k1,2 chr.txt
Chr1 28881539 28885023 +
Chr1 3055231 3056997 -
Chr1 471971 473336 -
Chr3 18709613 18710836 +
Chr3 20251812 20254323 +
Chr3 21701520 21703114 +
Chr5 25645209 25646845 -
效果就是将第一列和第二列进行合并,然后从左到右进行逐个比较。
.C
适用于Chr23
和 Chr2
这种字符和数字混合的情况,我们希望Chr2 < Chr23,但是默认是Chr23 > Chr2. .C
表示从第C个位置开始,当做数字处理
$ cat test.txt
Chr1
Chr23
Chr2
$ sort -k1.4 test.txt
Chr1
Chr2
Chr23
最后OPTS表示该列的排序类型,可选项是 [bdfgiMhnRrV], 我比较常用的就是n和r。
那么 -k1,1 -k2,2n
就很好理解了, 就是先按照第一列排序,然后按照第二列排序,其中第二列是数值型数据。
除了按数字排序,sort还支持按照月份缩写-M,--month-sort
, 例如'JAN'<'DEC', 人类可读数值-h,--human-numeric-sort
, 例如 2K < 1G。
如果你的输入内容是 0.04,1,123,1e-10,3.23 这种数字记录类型,sort
也提供-g,--general-numeric-sort
,对其排序
$ sort numbers.txt
0.04
1
123
1e-10
3.23
$ sort -g numbers.txt
1e-10
0.04
1
3.23
123
还有一个和软件版本开发相关的排序-V, --version-sort
。你是不是觉得1.21 的版本比 1.3新。然而在软件开发领域,1.3 比1.21新
$ sort -V version.txt
1.3
1.21
其他你可能会用得到的参数
-
-b
: 获取开头的空白 -
-f
: 忽略大小写 -
--parallel=N
: 并行 -
-o, --output=FILE
: 指定输出文件,而非标准输出 -
-c, --check
: 检查是否排序, 输出第一个排序不对的位置 -
-C, --check=quiet, --check=silent
: 检查是否排序,没有任何输出,echo $?
返回1 -
-t, --field-separator=SEP
: 默认是空格分隔,可以指定分隔符 -
-m,--merge
: 合并已经排序的文件