批处理查找方件中的关键词

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: --对于数据库来,如果开户了sql日志记录,则会很快的产生大量的日志文件,如果此时要查找系统中产生的错误日志或者警告日志,--在众多文件中无易于大海捞针,如果一个一个日志的查找的话--以下脚本为查找特定范围内的特定关键词--以下为脚本内容cat mathc_file.

--对于数据库来,如果开户了sql日志记录,则会很快的产生大量的日志文件,如果此时要查找系统中产生的错误日志或者警告日志,

--在众多文件中无易于大海捞针,如果一个一个日志的查找的话

--以下脚本为查找特定范围内的特定关键词


--以下为脚本内容
cat mathc_file.sh




 #!/bin/bash


help_msg (){
        echo ""
        echo "Usage:"
        echo "  -m 多少分钟之间修改的文件,如果为null,则默认为30分钟之前,如果要忽略此参数请给其值 -1 "
        echo "  -d 要查找文件所在的文件夹,如果为null,则为当前文件夹"
        echo "  -f 要查找的文件名,如果要匹配多个文件,请使用正则,如果为null,则为满足条件的所有文件"
        echo "  -o 查找之后的输出文件,如果为null,则默认输出到 /tmp/tmp_file.txt "
        echo "  -k 查找的关键字,如果需要匹配多个,请使用正则表达式"
        echo "  -n 每个文件最多输出多行匹配的数据,如果为null,则默认为10"
        echo "  -h 系统帮助"
        echo ""
        exit 0
}


# end functions


while getopts "m:d:f:o:k:n:" flag
do
        case $flag in
                m) MMINE=$OPTARG
                        ;;
                d) DIRECTORY=$OPTARG
                        ;;
                f) INPUT_FILE=$OPTARG
                        ;;
                o) OUTPUT_FILE=$OPTARG
                        ;;
                k) KEY=$OPTARG
                        ;;
                n) NUMBER=$OPTARG
                        ;;
                \?|h) help_msg
                        ;;
        esac
done


if [ $MMINE"x" == "x" ]
then
MMINE=30
fi


if [ $DIRECTORY"x" == "x" ]
then
DIRECTORY=$PWD
fi


if [ $INPUT_FILE"x" == "x" ]
then
INPUT_FILE=*
fi


if [ $OUTPUT_FILE"x" == "x" ]
then
OUTPUT_FILE=/tmp/tmp_file.txt
fi


if [ $KEY"x" == "x" ]
then
exit 0
fi


if [ $NUMBER"x" == "x" ]
then
NUMBER=10
fi


if [ ! -f $OUTPUT_FILE ]
        then
        touch $OUTPUT_FILE
else
        echo "" > $OUTPUT_FILE
fi




for file in $(find $DIRECTORY/$INPUT_FILE -mmin -$MMINE)
 do
echo "正在匹配文件:$file"
        echo "############################################################################################" >> $OUTPUT_FILE
        echo "############################################################################################" >> $OUTPUT_FILE
        echo "以下的内容来自匹配的文件 : ${file},最多匹配$NUMBER个" >> $OUTPUT_FILE
        echo "" >> $OUTPUT_FILE
        awk 'BEGIN {FS=",";i=1}  { if($0~/'$KEY'/) { if(i<='$NUMBER') {i=i+1 ; print $0}else{exit}}}' ${file} >> $OUTPUT_FILE
 done
echo "脚本执行结果请详见文件: $OUTPUT_FILE"


























--以下为脚本使用方法


[root@rudy pg_log]# ./mathc_file.sh -h
./mathc_file.sh: illegal option -- h


Usage:
  -m 多少分钟之间修改的文件,如果为null,则默认为30分钟之前,如果要忽略此参数请给其值 -1 
  -d 要查找文件所在的文件夹,如果为null,则为当前文件夹
  -f 要查找的文件名,如果要匹配多个文件,请使用正则,如果为null,则为满足条件的所有文件
  -o 查找之后的输出文件,如果为null,则默认输出到 /tmp/tmp_file.txt 
  -k 查找的关键字,如果需要匹配多个,请使用正则表达式
  -n 每个文件最多输出多行匹配的数据,如果为null,则默认为10
  -h 系统帮助




--匹配一个关键词,匹配含有关键词permis的文件内容,一个最多匹配2个
./mathc_file.sh -m 500 -k permis -f "postgres*" -n 2 


--匹配多个关键词,匹配含有关键词ERROR和permis的文件内容,一个最多匹配2个
./mathc_file.sh -m 500 -k "ERROR(.)*permis" -f "postgres*" -n 2


--匹配特定类型的文件
./mathc_file.sh -m 500 -k "ERROR(.)*permis" -f "postgres*.csv" -n 2


--匹配指定目录的文件
./mathc_file.sh -m 1500 -k permis -f "postgres*" -n 2 -d "/usr/local/postgresql/9.3.4/5434/pg_log"
相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
目录
相关文章
|
15天前
|
存储 弹性计算 人工智能
【2025云栖精华内容】 打造持续领先,全球覆盖的澎湃算力底座——通用计算产品发布与行业实践专场回顾
2025年9月24日,阿里云弹性计算团队多位产品、技术专家及服务器团队技术专家共同在【2025云栖大会】现场带来了《通用计算产品发布与行业实践》的专场论坛,本论坛聚焦弹性计算多款通用算力产品发布。同时,ECS云服务器安全能力、资源售卖模式、计算AI助手等用户体验关键环节也宣布升级,让用云更简单、更智能。海尔三翼鸟云服务负责人刘建锋先生作为特邀嘉宾,莅临现场分享了关于阿里云ECS g9i推动AIoT平台的场景落地实践。
【2025云栖精华内容】 打造持续领先,全球覆盖的澎湃算力底座——通用计算产品发布与行业实践专场回顾
|
7天前
|
云安全 人工智能 安全
Dify平台集成阿里云AI安全护栏,构建AI Runtime安全防线
阿里云 AI 安全护栏加入Dify平台,打造可信赖的 AI
|
10天前
|
人工智能 运维 Java
Spring AI Alibaba Admin 开源!以数据为中心的 Agent 开发平台
Spring AI Alibaba Admin 正式发布!一站式实现 Prompt 管理、动态热更新、评测集构建、自动化评估与全链路可观测,助力企业高效构建可信赖的 AI Agent 应用。开源共建,现已上线!
931 29
|
9天前
|
机器学习/深度学习 人工智能 搜索推荐
万字长文深度解析最新Deep Research技术:前沿架构、核心技术与未来展望
近期发生了什么自 2025 年 2 月 OpenAI 正式发布Deep Research以来,深度研究/深度搜索(Deep Research / Deep Search)正在成为信息检索与知识工作的全新范式:系统以多步推理驱动大规模联网检索、跨源证据。
672 52
|
3天前
|
监控 BI 数据库
打工人救星!来看看这两家企业如何用Quick BI让业务更高效
Quick BI专业版监控告警助力企业高效运作,通过灵活配置规则与多渠道推送,让数据异常早发现、快响应,推动业务敏捷决策与持续增长。
打工人救星!来看看这两家企业如何用Quick BI让业务更高效
|
7天前
|
文字识别 测试技术 开发者
Qwen3-VL新成员 2B、32B来啦!更适合开发者体质
Qwen3-VL家族重磅推出2B与32B双版本,轻量高效与超强推理兼备,一模型通吃多模态与纯文本任务!
594 11