批处理查找方件中的关键词

简介: --对于数据库来,如果开户了sql日志记录,则会很快的产生大量的日志文件,如果此时要查找系统中产生的错误日志或者警告日志,--在众多文件中无易于大海捞针,如果一个一个日志的查找的话--以下脚本为查找特定范围内的特定关键词--以下为脚本内容cat mathc_file.

--对于数据库来,如果开户了sql日志记录,则会很快的产生大量的日志文件,如果此时要查找系统中产生的错误日志或者警告日志,

--在众多文件中无易于大海捞针,如果一个一个日志的查找的话

--以下脚本为查找特定范围内的特定关键词


--以下为脚本内容
cat mathc_file.sh




 #!/bin/bash


help_msg (){
        echo ""
        echo "Usage:"
        echo "  -m 多少分钟之间修改的文件,如果为null,则默认为30分钟之前,如果要忽略此参数请给其值 -1 "
        echo "  -d 要查找文件所在的文件夹,如果为null,则为当前文件夹"
        echo "  -f 要查找的文件名,如果要匹配多个文件,请使用正则,如果为null,则为满足条件的所有文件"
        echo "  -o 查找之后的输出文件,如果为null,则默认输出到 /tmp/tmp_file.txt "
        echo "  -k 查找的关键字,如果需要匹配多个,请使用正则表达式"
        echo "  -n 每个文件最多输出多行匹配的数据,如果为null,则默认为10"
        echo "  -h 系统帮助"
        echo ""
        exit 0
}


# end functions


while getopts "m:d:f:o:k:n:" flag
do
        case $flag in
                m) MMINE=$OPTARG
                        ;;
                d) DIRECTORY=$OPTARG
                        ;;
                f) INPUT_FILE=$OPTARG
                        ;;
                o) OUTPUT_FILE=$OPTARG
                        ;;
                k) KEY=$OPTARG
                        ;;
                n) NUMBER=$OPTARG
                        ;;
                \?|h) help_msg
                        ;;
        esac
done


if [ $MMINE"x" == "x" ]
then
MMINE=30
fi


if [ $DIRECTORY"x" == "x" ]
then
DIRECTORY=$PWD
fi


if [ $INPUT_FILE"x" == "x" ]
then
INPUT_FILE=*
fi


if [ $OUTPUT_FILE"x" == "x" ]
then
OUTPUT_FILE=/tmp/tmp_file.txt
fi


if [ $KEY"x" == "x" ]
then
exit 0
fi


if [ $NUMBER"x" == "x" ]
then
NUMBER=10
fi


if [ ! -f $OUTPUT_FILE ]
        then
        touch $OUTPUT_FILE
else
        echo "" > $OUTPUT_FILE
fi




for file in $(find $DIRECTORY/$INPUT_FILE -mmin -$MMINE)
 do
echo "正在匹配文件:$file"
        echo "############################################################################################" >> $OUTPUT_FILE
        echo "############################################################################################" >> $OUTPUT_FILE
        echo "以下的内容来自匹配的文件 : ${file},最多匹配$NUMBER个" >> $OUTPUT_FILE
        echo "" >> $OUTPUT_FILE
        awk 'BEGIN {FS=",";i=1}  { if($0~/'$KEY'/) { if(i<='$NUMBER') {i=i+1 ; print $0}else{exit}}}' ${file} >> $OUTPUT_FILE
 done
echo "脚本执行结果请详见文件: $OUTPUT_FILE"


























--以下为脚本使用方法


[root@rudy pg_log]# ./mathc_file.sh -h
./mathc_file.sh: illegal option -- h


Usage:
  -m 多少分钟之间修改的文件,如果为null,则默认为30分钟之前,如果要忽略此参数请给其值 -1 
  -d 要查找文件所在的文件夹,如果为null,则为当前文件夹
  -f 要查找的文件名,如果要匹配多个文件,请使用正则,如果为null,则为满足条件的所有文件
  -o 查找之后的输出文件,如果为null,则默认输出到 /tmp/tmp_file.txt 
  -k 查找的关键字,如果需要匹配多个,请使用正则表达式
  -n 每个文件最多输出多行匹配的数据,如果为null,则默认为10
  -h 系统帮助




--匹配一个关键词,匹配含有关键词permis的文件内容,一个最多匹配2个
./mathc_file.sh -m 500 -k permis -f "postgres*" -n 2 


--匹配多个关键词,匹配含有关键词ERROR和permis的文件内容,一个最多匹配2个
./mathc_file.sh -m 500 -k "ERROR(.)*permis" -f "postgres*" -n 2


--匹配特定类型的文件
./mathc_file.sh -m 500 -k "ERROR(.)*permis" -f "postgres*.csv" -n 2


--匹配指定目录的文件
./mathc_file.sh -m 1500 -k permis -f "postgres*" -n 2 -d "/usr/local/postgresql/9.3.4/5434/pg_log"
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
1月前
|
SQL 前端开发 Java
实现数据的搜索( 筛选 )功能
实现数据的搜索( 筛选 )功能
|
1月前
|
机器学习/深度学习 人工智能 算法
如何将传统的关键字搜索与现代向量搜索结合?
如何将传统的关键字搜索与现代向量搜索相结合,找到更相关的搜索结果优化 RAG。
如何将传统的关键字搜索与现代向量搜索结合?
|
1月前
|
人工智能 自然语言处理 开发工具
关键词感知检索
向量检索服务DashVector同时支持Dense Vector(稠密向量)和Sparse Vector(稀疏向量),前者用于模型的高维特征(Embedding)表达,后者用于关键词和词频信息表达。DashVector可以进行关键词感知的向量检索,即Dense Vector和Sparse Vector结合的混合检索。
关键词感知检索
|
1月前
|
人工智能 开发工具 git
语义搜索测试
语义搜索测试
37 0
|
1月前
文本搜索命令
文本搜索命令
23 0
|
7月前
|
小程序 JavaScript
小程序搜索弹出搜索内容功能(模糊查询)
小程序搜索弹出搜索内容功能(模糊查询)
40 0
|
11月前
|
XML JSON 缓存
Java实现根据关键词搜索1688商品列表数据方法
Java实现根据关键词搜索1688商品列表数据方法
83 0
|
SQL JavaScript 前端开发
信息输出:搜索和分析
信息输出:搜索和分析
44 0
|
前端开发 小程序 关系型数据库
小程序中实现搜索功能
小程序中实现搜索功能
小程序中实现搜索功能

热门文章

最新文章