linux awk命令 去掉重复行
1.打印指定列 域信息
more lance3333.txt | awk -F ":" '{print $3}'|awk '{print $3}'
2.把文件中的重复行 写入 lance444
awk 'a[$0]++' lance.txt >> lance444.txt
3.把 lance.txt 文件中的不重复行 写入 lance333
awk '!a[$0]++' lance.txt >> lance3333.txt
4.查询文件夹下所有包括指定字符串的文件内容 并把他们写入 lance.txt
grep -r "BatchUpdateException: Duplicate" ./* >>lance.txt
5.查询文件中包括某个字符的所有行
grep -r "BatchUpdateException: Duplicate" /root/tomcat/logs/catalina.out cat `ls ./*` >> lance.txt wc -l filename 就是查看文件里有多少行
6.FS服务器被攻击 数据出现重复时：
6.1.归集数据
cat `ls ./*` >> lance.txt
6.2数据去重
awk '!a[$0]++' lance.txt >> data.txt
6.3.垃圾数据删除 删除包括有 以下关键字的记录行 删除指定条件的行
SUBSCRIBER_ABSENT NO_ROUTE_DESTINATION sed -i -e '/NO_ROUTE_DESTINATION/d' data.txt sed -i -e '/SUBSCRIBER_ABSENT/d' data.txt
