整理grep实战文本搜索过滤技巧

简介:

一:grep的简介:

文本搜索工具,根据用户指定的文本模式对目标文件进行逐行搜索,显示能够被模式所匹配到的行。配合正则表达式的使用可以实现强大的文本处理。下面一一说明正则的例子。

二:文本处理工具分类

常用的有:grep,egrep,fgrep。

区别:

grep:在没有参数的情况下,只输出符合RE(Regular Expression)字符。

egrep:等同于grep -E,和grep最大的区别就是表现在转义符上比如grep 做次数匹配时\{n,m\}egrep则不需要直接{n,m}。egrep方便,简介。

fgrep:等同于grep -f,但是不能使用正则表达式。所有的字符匹配功能均已消失。

三:grep参数说明:

格式:grep [OPTIONS] PATTERN(模式) [FILE...]

常用选项:

--color=auto:显示颜色的参数。

-c:只输出匹配行的计数。

-I:不区分大 小写(只适用于单字符)。

-h:查询多文件时不显示文件名。

-l:查询多文件时只输出包含匹配字符的文件名。

-n:显示匹配行及 行号。

-s:不显示不存在或无匹配文本的错误信息。

-v:显示不包含匹配文本的所有行。

pattern正则表达式主要参数:

\: 忽略正则表达式中特殊字符的原有含义。

^:匹配正则表达式的开始行。

$: 匹配正则表达式的结束行。

\<:从匹配正则表达 式的行开始。

\>:到匹配正则表达式的行结束。

[ ]:单个字符,如[A]即A符合要求 。

[ - ]:范围,如[A-Z],即A、B、C一直到Z都符合要求 。

。:所有的单个字符。

* :有字符,长度可以为0。

例子:

grep命令使用简单实例

$ grep ‘test’ d*

显示所有以d开头的文件中包含 test的行。

$ grep ‘test’ aa bb cc

显示在aa,bb,cc文件中匹配test的行。

$ grep ‘[a-z]\{5\}’ aa

显示所有包含每个字符串至少有5个连续小写字符的字符串的行。

$ grep ‘w\(es\)t.*\1′ aa

如果west被匹配,则es就被存储到内存中,并标记为1,然后搜索任意个字符(.*),这些字符后面紧跟着 另外一个es(\1),找到就显示该行。如果用egrep或grep -E,就不用”\”号进行转义,直接写成’w(es)t.*\1′就可以了。

5.grep命令使用复杂实例

假设您正在’/usr/src/Linux/Doc’目录下搜索带字符 串’magic’的文件:

$ grep magic /usr/src/Linux/Doc/*

sysrq.txt:* How do I enable the magic SysRQ key?

sysrq.txt:* How do I use the magic SysRQ key?

其中文件’sysrp.txt’包含该字符串,讨论的是 SysRQ 的功能。

默认情况下,’grep’只搜索当前目录。如果 此目录下有许多子目录,’grep’会以如下形式列出:

grep: sound: Is a directory

这可能会使’grep’ 的输出难于阅读。这里有两种解决的办法:

明确要求搜索子目录:grep -r

或忽略子目录:grep -d skip

如果有很多 输出时,您可以通过管道将其转到’less’上阅读:

$ grep magic /usr/src/Linux/Documentation/* | less

这样,您就可以更方便地阅读。

有一点要注意,您必需提供一个文件过滤方式(搜索全部文件的话用 *)。如果您忘了,’grep’会一直等着,直到该程序被中断。如果您遇到了这样的情况,按 <CTRL c> ,然后再试。

下面还有一些有意思的命令行参数:

grep -i pattern files :不区分大小写地搜索。默认情况区分大小写,

grep -l pattern files :只列出匹配的文件名,

grep -L pattern files :列出不匹配的文件名,

grep -w pattern files :只匹配整个单词,而不是字符串的一部分(如匹配’magic’,而不是’magical’),

grep -C number pattern files :匹配的上下文分别显示[number]行,

grep pattern1 | pattern2 files :显示匹配 pattern1 或 pattern2 的行,

grep pattern1 files | grep pattern2 :显示既匹配 pattern1 又匹配 pattern2 的行。

grep -n pattern files  即可显示行号信息

grep -c pattern files  即可查找总行数

这里还有些用于搜索的特殊符号:

\< 和 \> 分别标注单词的开始与结尾。

例如:

grep man * 会匹配 ‘Batman’、’manic’、’man’等,

grep ‘\<man’ * 匹配’manic’和’man’,但不是’Batman’,

grep ‘\<man\>’ 只匹配’man’,而不是’Batman’或’manic’等其他的字符串。

‘^’:指匹配的字符串在行首,

‘$’:指匹配的字符串在行 尾,

Grep 命令 用法大全

1、 参数: 

-I :忽略大小写 

-c :打印匹配的行数 

-l :从多个文件中查找包含匹配项 

-v :查找不包含匹配项的行 

-n:打印包含匹配项的行和行标 

2、RE(正则表达式) 

\ 忽略正则表达式中特殊字符的原有含义 

^ 匹配正则表达式的开始行 

$ 匹配正则表达式的结束行 

\< 从匹配正则表达式的行开始 

\> 到匹配正则表达式的行结束 

[ ] 单个字符;如[A] 即A符合要求 

[ - ] 范围 ;如[A-Z]即A,B,C一直到Z都符合要求 

. 所有的单个字符 

* 所有字符,长度可以为0 

3、举例 

# ps -ef | grep in.telnetd 

root 19955 181 0 13:43:53 ? 0:00 in.telnetd 

# more size.txt size文件的内容 

b124230 

b034325 

a081016 

m7187998 

m7282064 

a022021 

a061048 

m9324822 

b103303 

a013386 

b044525 

m8987131 

B081016 

M45678 

B103303 

BADc2345 

# more size.txt | grep '[a-b]' 范围 ;如[A-Z]即A,B,C一直到Z都符合要求 

b124230 

b034325 

a081016 

a022021 

a061048 

b103303 

a013386 

b044525 

# more size.txt | grep '[a-b]'* 

b124230 

b034325 

a081016 

m7187998 

m7282064 

a022021 

a061048 

m9324822 

b103303 

a013386 

b044525 

m8987131 

B081016 

M45678 

B103303 

BADc2345 

# more size.txt | grep 'b' 单个字符;如[A] 即A符合要求 

b124230 

b034325 

b103303 

b044525 

# more size.txt | grep '[bB]' 

b124230 

b034325 

b103303 

b044525 

B081016 

B103303 

BADc2345 

# grep 'root' /etc/group 

root::0:root 

bin::2:root,bin,daemon 

sys::3:root,bin,sys,adm 

adm::4:root,adm,daemon 

uucp::5:root,uucp 

mail::6:root 

tty::7:root,tty,adm 

lp::8:root,lp,adm 

nuucp::9:root,nuucp 

daemon::12:root,daemon 

# grep '^root' /etc/group 匹配正则表达式的开始行 

root::0:root 

# grep 'uucp' /etc/group 

uucp::5:root,uucp 

nuucp::9:root,nuucp 

# grep '\<uucp' /etc/group 

uucp::5:root,uucp 

# grep 'root$' /etc/group 匹配正则表达式的结束行 

root::0:root 

mail::6:root 

# more size.txt | grep -i 'b1..*3' -i :忽略大小写 

b124230 

b103303 

B103303 

# more size.txt | grep -iv 'b1..*3' -v :查找不包含匹配项的行 

b034325 

a081016 

m7187998 

m7282064 

a022021 

a061048 

m9324822 

a013386 

b044525 

m8987131 

B081016 

M45678 

BADc2345 

# more size.txt | grep -in 'b1..*3' 

1:b124230 

9:b103303 

15:B103303 

# grep '$' /etc/init.d/nfs.server | wc -l 

128 

# grep '\$' /etc/init.d/nfs.server | wc –l 忽略正则表达式中特殊字符的原有含义 

15 

# grep '\$' /etc/init.d/nfs.server 

case "$1" in 

>/tmp/sharetab.$$ 

[ "x$fstype" != xnfs ] && 

echo "$path\t$res\t$fstype\t$opts\t$desc" 

>>/tmp/sharetab.$$ 

/usr/bin/touch -r /etc/dfs/sharetab /tmp/sharetab.$$ 

/usr/bin/mv -f /tmp/sharetab.$$ /etc/dfs/sharetab 

if [ -f /etc/dfs/dfstab ] && /usr/bin/egrep -v '^[ ]*(#|$)' 

if [ $startnfsd -eq 0 -a -f /etc/rmmount.conf ] && 

if [ $startnfsd -ne 0 ]; then 

elif [ ! -n "$_INIT_RUN_LEVEL" ]; then 

while [ $wtime -gt 0 ]; do 

wtime=`expr $wtime - 1` 

if [ $wtime -eq 0 ]; then 

echo "Usage: $0 { start | stop }" 

# more size.txt 

the test file 

their are files 

The end 

# grep 'the' size.txt 

the test file 

their are files 

# grep '\<the' size.txt 

the test file 

their are files 

# grep 'the\>' size.txt 

the test file 

# grep '\<the\>' size.txt 

the test file 

# grep '\<[Tt]he\>' size.txt 

the test file

==================================================================

1,简介

使用正则表达式的一个多用途文本搜索工具.这个php?name=%C3%FC%C1%EE" class="t_tag">命令本来是ed行编辑器中的一个php?name=%C3%FC%C1%EE" class="t_tag">命令/过滤器:

        g/re/p -- global - regular expression - print.

基本格式

grep pattern [file...]

(1)grep 搜索字符串 [filename]

(2)grep 正则表达式 [filename]

在文件中搜索所有 pattern 出现的位置, pattern 既可以是要搜索的字符串,也可以是一个正则表达式.

注意:在输入要搜索的字符串时最好使用双引号/而在模式匹配使用正则表达式时,注意使用单引号

2,grep的选项

    -c 只输出匹配行的计数

    -i 不区分大小写(用于单字符)

    -n 显示匹配的行号

    -v 不显示不包含匹配文本的所以有行

    -s 不显示错误信息

    -E 使用扩展正则表达式

    更多的选项请查看:man grep

3,常用grep实例

(1)多个文件查询

    grep "sort" *.doc       #见文件名的匹配

(2)行匹配:输出匹配行的计数

    grep -c "48" data.doc   #输出文档中含有48字符的行数

(3)显示匹配行和行数

    grep -n "48" data.doc       #显示所有匹配48的行和行号

(4)显示非匹配的行

    grep -vn "48" data.doc      #输出所有不包含48的行

(4)显示非匹配的行

    grep -vn "48" data.doc      #输出所有不包含48的行

(5)大小写敏感

    grep -i "ab" data.doc       #输出所有含有ab或Ab的字符串的行

4, 正则表达式的应用

(1)正则表达式的应用 (注意:最好把正则表达式用单引号括起来)

    grep '[239].' data.doc      #输出所有含有以2,3或9开头的,并且是两个数字的行

(2)不匹配测试

    grep '^[^48]' data.doc      #不匹配行首是48的行

(3)使用扩展模式匹配

    grep -E '219|216' data.doc

(4) ...

    这需要在实践中不断应用和总结,熟练掌握正则表达式。

5, 使用类名

可以使用国际模式匹配的类名:

[[:upper:]]   [A-Z]

[[:lower:]]   [a-z]

[[:digit:]]   [0-9]

[[:alnum:]]   [0-9a-zA-Z]

[[:space:]]   空格或tab

[[:alpha:]]   [a-zA-Z]

(1)使用

    grep '5[[:upper:]][[:upper:]]' data.doc     #查询以5开头以两个大写字母结尾的行



本文转自 linuxzkq 51CTO博客,原文链接:http://blog.51cto.com/linuxzkq/1635697


相关文章
|
6月前
|
人工智能 弹性计算 JSON
MCP进阶:一键批量搞定MCP工具部署
本文介绍了一种基于阿里云计算巢的一站式MCP工具解决方案,解决了传统MCP工具集成中的效率低下、调用方式割裂和动态管理困难等问题。方案通过标准化协议实现多MCP工具批量部署,提高云资源利用率,并支持OpenAPI与MCP双通道调用,使主流AI助手如Dify、Cherry Studio等无缝接入。内容涵盖背景、原理剖析、部署使用实战及问题排查,最后强调MCP协议作为“通用语言”连接数字与物理世界的重要性。
1468 62
MCP进阶:一键批量搞定MCP工具部署
|
存储 缓存 网络架构
计算机网络——三种交换方式(电路交换、分组交换、报文交换以及优缺点)
计算机网络——三种交换方式(电路交换、分组交换、报文交换以及优缺点)
1221 0
|
传感器 物联网 定位技术
浅谈蓝牙演进之路:从诞生到普及
蓝牙技术是一种支持设备间短距离通信的低功耗无线电技术,广泛应用于移动通信、消费电子、汽车电子、医疗健康等领域。自1994年由爱立信公司创制以来,蓝牙技术经历了多个版本的迭代,从最初的蓝牙1.0到最新的蓝牙5.4,不断优化传输速率、通信距离、功耗和安全性。未来,蓝牙技术将在低功耗、高速度、广覆盖等方面继续发展,拓展更多应用场景,如智能家居、可穿戴设备、工业物联网等。
|
自然语言处理 前端开发 Java
您的智能测试助理来了!蚂蚁TestAgent开源,快来体验!
TestAgent 旨在构建测试领域的“智能体”,融合大模型和质量领域工程化技术,促进质量技术代系升级。我们期望和社区成员一起合作,打造创新的测试领域解决方案,构建24小时在线的测试助理服务,让测试如丝般顺滑。 很高兴地宣布,我们在国内首次开源了测试行业大模型及工具——TestAgent。本次版本包含了性能最强的7B测试领域大模型,以及配套的本地模型快速发布和体验工程化框架,欢迎体验和关注!
2868 0
您的智能测试助理来了!蚂蚁TestAgent开源,快来体验!
|
安全 数据安全/隐私保护
解释 TCSEC 和 ITSEC
【8月更文挑战第31天】
882 0
|
弹性计算 固态存储 Linux
2024年阿里云服务器租用详细价格表(CPU/内存/带宽/系统盘)
2024阿里云服务器租用优惠价格表,轻量服务器2核2G3M带宽轻量服务器一年61元,2核4G4M带宽轻量服务器一年165元12个月,ECS云服务器e系列2核2G配置、3M固定带宽、40G ESSD Entry云盘,99元一年、2核4G服务器30元3个月、2核4G配置365元一年、2核8G配置522元一年,云服务器u1、云服务器c7、g7和r7优惠价格表,CPU内存带宽系统盘配置详细报价:
5676 3
|
机器学习/深度学习 自然语言处理 搜索推荐
常用的相似度度量总结:余弦相似度,点积,L1,L2
相似性度量在机器学习中起着至关重要的作用。这些度量以数学方式量化对象、数据点或向量之间的相似性。理解向量空间中的相似性概念并采用适当的度量是解决广泛的现实世界问题的基础。本文将介绍几种常用的用来计算两个向量在嵌入空间中的接近程度的相似性度量。
1248 1
|
存储 JSON 前端开发
multi-agent:多角色Agent协同合作,高效完成复杂任务
随着LLM的涌现,以LLM为中枢构建的Agent系统在近期受到了广泛的关注。Agent系统旨在利用LLM的归纳推理能力,通过为不同的Agent分配角色与任务信息,并配备相应的工具插件,从而完成复杂的任务。
|
存储
Markdown 格式如何转换成 Word?
参考资料:https://www.zhihu.com/question/22972843/answer/136008865 markdown语法简洁,写作效率极高,非常适合网络博客、邮件、笔记等非正式文档的写作。
3492 0
|
Dragonfly Cloud Native 算法
镜像拉取节省 90% 以上,快手基于 Dragonfly 的超大规模分发实践
快手容器云技术团队携手阿里云、蚂蚁集团在龙蜥社区适配,优化落地解决方案。
镜像拉取节省 90% 以上,快手基于 Dragonfly 的超大规模分发实践