错误日志中去除重复的日志

在错误日志log_errorhh.log log_errorhh.log.1中存在大量的重复不需要的日志 内容是：Request method 'HEAD' 

#/bin/bash

#定义个时间变量

A=`date +%Y-%m-%d`

#复制错误日志到/opt/log/

cp /usr/local/tomcat_1/bin/log/log_errorhh.log /opt/log/
cp /usr/local/tomcat_1/bin/log/log_errorhh.log.1 /opt/log/

cd /opt/log/

#把两个错误日志放到一个文件中log_errorhh.log2

cat log_errorhh.log >> /opt/log/log_errorhh.log2
cat log_errorhh.log.1 >> /opt/log/log_errorhh.log2

#把重复的不需要的日志放到log_errorhh.log3

touch log_errorhh.log3
cat log_errorhh.log2 | grep "Request method 'HEAD' " >> /opt/log/log_errorhh.log3

#把重复的不需要的日志放到log_errorhh.log2

cat log_errorhh.log3 >> /opt/log/log_errorhh.log2

#对log_errorhh.log2 去重

sort log_errorhh.log2 |uniq -u >/opt/log/log_error$A 

最后 log_error2017-07-06就是想要的错误日志                                                

本文转自 苑洪武 51CTO博客，原文链接:http://blog.51cto.com/12927979/1945077