生信数据预处理的Linux三大神器

grep:最快的文本搜索工具

grep就是在文本提取和匹配上最快的工具，因为它只有一个目标，在每一行找匹配的内容，并且在这个任务上没有其他程序比他是做的更好。

继续以拟南芥基因组和注释文件作为练习对象（下载方式见我上一篇文章）。

• 在注释文件中查找某一个基因如AT5G25475

$ grep "AT5G25475" TAIR10_GFF3_genes.gff  | head -5
Chr5    TAIR10  gene    8867797 8869821 .       -       .       ID=AT5G25475;Note=protein_coding_gene;Name=AT5G25475
Chr5    TAIR10  mRNA    8867797 8869652 .       -       .       ID=AT5G25475.1;Parent=AT5G25475;Name=AT5G25475.1;Index=1
Chr5    TAIR10  protein 8867920 8869492 .       -       .       ID=AT5G25475.1-Protein;Name=AT5G25475.1;Derives_from=AT5
G25475.1
Chr5    TAIR10  five_prime_UTR  8869493 8869652 .       -       .       Parent=AT5G25475.1
Chr5    TAIR10  CDS     8869391 8869492 .       -       0       Parent=AT5G25475.1,AT5G25475.1-Protein;

• 希望搜索AT5G25475但是不包含CDS(-v:反向选择)

$ grep "AT5G25475" TAIR10_GFF3_genes.gff  | grep -v 'CDS' | head -5
Chr5    TAIR10  gene    8867797 8869821 .       -       .       ID=AT5G25475;Note=protein_coding_gene;Name=AT5G25475
Chr5    TAIR10  mRNA    8867797 8869652 .       -       .       ID=AT5G25475.1;Parent=AT5G25475;Name=AT5G25475.1;Index=1
Chr5    TAIR10  protein 8867920 8869492 .       -       .       ID=AT5G25475.1-Protein;Name=AT5G25475.1;Derives_from=AT5
G25475.1
Chr5    TAIR10  five_prime_UTR  8869493 8869652 .       -       .       Parent=AT5G25475.1
Chr5    TAIR10  exon    8869391 8869652 .       -       .       Parent=AT5G25475.1

反向选择与head,wc连用的时候，可以先排除一些注释信息('#'),再操作。

• 基因组中查找某一段特定序列并查看上下文(-A n：显示后n行-B，n：显示前n行，-C= -A,-B)

$ grep -A 2 'TTATTGTTGTTAAGAAAAAAGG' TAIR10_chr_all.fa
GTCGCCGCATTTTGTAATGCATACTTGTCTCTGTTATTGTTGTTAAGAAAAAAGGAGCACAAGTTGAGCAATGAAATAA
AATTGAATGGGCTAATGCTACAATCCCTTTTAATCAGCACAAATTGAATTAAGTTGAGGTGATTAAAAGGGATCTATCT
AGGTTTGTGGCAACAATAATAAAATGGAATCACAAACAAACTCCATAAAGGTAACCCTAAAAAAGGAGGGAAATCGCAA

• 在基因组中统计某一段序列出现的个数 （-c : count)

$ grep  'TTATTGTTGTTAAGA' TAIR10_chr_all.fa  -c
2
# 其实还可以接wc -l
$ grep  'TTATTGTTGTTAAGA' TAIR10_chr_all.fa  | wc -l
2

• 只返回匹配到的内容

$ grep  'TTATTGTTGTTAAGA' TAIR10_chr_all.fa  -o
TTATTGTTGTTAAGA
TTATTGTTGTTAAGA

如果你想查找一个以AT5G254开头以1结尾的基因，你就要用到强大的正则表达式。

$ grep 'AT5G254.*5$' TAIR10_GFF3_genes.gff
Chr5    TAIR10  gene    8834206 8837248 .       +       .       ID=AT5G25415;Note=protein_coding_gene;Name=AT5G25415
Chr5    TAIR10  gene    8848549 8848986 .       +       .       ID=AT5G25425;Note=protein_coding_gene;Name=AT5G25425
Chr5    TAIR10  gene    8867797 8869821 .       -       .       ID=AT5G25475;Note=protein_coding_gene;Name=AT5G25475

awk: 强大的文本操作工具

在上篇文章中，我使用了许多linux基本命令去完成一些琐碎的生信数据处理任务。而在awk眼中，这些任务它一个人就能搞定。awk:"我要打十个"

awk的工作原理

awk擅长处理表格形式的数据。它逐行从文本中读取数据，将整行数据（record)定义为$0,然后根据指定的分隔符，将各列数据（record)分别定义为$1,$2,$3

然后使用如下结构处理数据

pattern1 {action1};pattern2 {action2};....

形如if函数，当满足pattern时执行后接的action.
注意：

• 如果没有定义pattern,则直接执行action；
• 如果没有提供action,则直接输出满足pattern的内容

基本用法

首先让我们用awk实现cat,cut这些命令。

• cat

$ awk '{print $0}' TAIR10_GFF3_genes.gff | head -2
Chr1    TAIR10  chromosome      1       30427671        .       .       .       ID=Chr1;Name=Chr1
Chr1    TAIR10  gene    3631    5899    .       +       .       ID=AT1G01010;Note=protein_coding_gene;Name=AT1G01010

• cut

$ awk '{print $1,$4,$5}' TAIR10_GFF3_genes.gff | head -2
Chr1 1 30427671
Chr1 3631 5899

awk除了能输出指定列，还能重排，甚至换一种分隔符，比cut更加强大

$ awk '{print $4","$5","$1}' TAIR10_GFF3_genes.gff | head -1
1,30427671,Chr11

进阶功能

除了这些简单的功能以外，awk还支持

• 算术运算(+,-,*,/,%,)，
• 逻辑运算(==,!=,<,>,>=,<=),
• 或与非(&&,||,!),
• 还可以进行模式匹配(a_b,a!b)。
  当然知道有这些内容还不够，我们还要在实际中使用。

实例：找到长度大于10kb且在一号染色体的注释内容

$ awk '$5 - $4 > 10000 && $1 ~ /Chr1/' TAIR10_GFF3_genes.gff  | head -5
Chr1    TAIR10  chromosome      1       30427671        .       .       .       ID=Chr1;Name=Chr1
Chr1    TAIR10  gene    373335  386847  .       +       .       ID=AT1G02080;Note=protein_coding_gene;Name=AT1G02080
Chr1    TAIR10  mRNA    373335  386847  .       +       .       ID=AT1G02080.1;Parent=AT1G02080;Name=AT1G02080.1;Index=1
Chr1    TAIR10  protein 373335  386682  .       +       .       ID=AT1G02080.1-Protein;Name=AT1G02080.1;Derives_from=AT1
G02080.1
Chr1    TAIR10  mRNA    373501  386846  .       +       .       ID=AT1G02080.2;Parent=AT1G02080;Name=AT1G02080.2;Index=1

练习题: 请找到长度小于1kb,在2号或者三号染色体注释

awk还有两个特殊模式BEGIN,END，顾名思义就是在操作开始或/和结束后才执行的操作。

实例： 计算长度1号染色体cds的平均长度.

$ awk 'BEGIN  {s = 0;line = 0 } ;$5 - $4 > 10000 && $1 ~ /Chr1/ { s += ( $5 - $4 );line += 1}; END {print "mean=" s/line
}' TAIR10_GFF3_genes.gff  | head -5
mean=227598

练习题：请计算2号染色体和3号染色体的CDS的平均长度。

awk内部有许多特殊变量,如NR，表示当前所在的行数
实例： 显示第3-5行数据类似于head -n5 | tail -n2

$ awk ' NR>=3 && NR <=5 {print $0}' TAIR10_GFF3_genes.gff
Chr1    TAIR10  mRNA    3631    5899    .       +       .       ID=AT1G01010.1;Parent=AT1G01010;Name=AT1G01010.1;Index=1
Chr1    TAIR10  protein 3760    5630    .       +       .       ID=AT1G01010.1-Protein;Name=AT1G01010.1;Derives_from=AT1
G01010.1
Chr1    TAIR10  exon    3631    3913    .       +       .       Parent=AT1G01010.1

awk还有一个类似于Python的字典结构，叫做关联数组（associative array).使用这个我们就可以实现cat xx.file cut -f '2'| sort | uniq -c | sort类似的操作

$ awk '$1 ~ /Chr1/ { feature[$3] += 1};\
END { for (k in feature) print k "\t" feature[k]}' TAIR10_GFF3_genes.gff
pseudogene      241
ncRNA   144
exon    58048
chromosome      1
snRNA   2
protein 9263
...

除此之外，他还可以使用if,for,while，还有许多常用的函数（见下表），所以说awk真的可以当做一门编程语言学习了。不过如果真的需要特别多的处理步骤，其实你可以直接使用Pyhton/perl等更强大的编程语言了。

番外:bioawk 生物版awk

虽然awk非常强大，但是如果它能够自动识别我们生物数据格式（如GFF/GTF,FASTQ/FASTA/,BED），自动分配record该多好。

请大家膜拜一下Heng Li，然后去下载bioawk
具体用法就不细说了。可以将bioawk代替awk重复前面的练习和实例。

sed: 流处理工具

sed的功能同样也很强大，但是这里只负责介绍两个常用的模块：文本替换和显示特定行。
假如有一个文件a.txt如下内容：

chrom1    123    456
chrom2    123    456
chrmo3    123    456

我们可以很方便的使用sed将chrom替换成chr:

# sed 's/pattern/replacement/' file
sed 's/chrom/chr/' a.txt 
chr1    123    456
chr2    123    456
chr3    123    456

假设我们只想打印第2行，处理可以用head加tail或者awk完成，还可以用sed

#sed -n 'n1,n2p' file.txt
# -n 只输出编辑部分;p打印;n1,n2从以n1到n2
sed -n '2p' a.txt

由于许多sed的功能都和前面的awk和grep冲突，所以这里只介绍了这两个功能。

如果想了解更多 awk和sed的功能，可以到http://dongweiming.github.io/sed_and_awk进入深入的学习。