Linux三剑客grep、sed、awk以及正则表达式

简介: $ 以...结尾^ 以...开头. 匹配任意一个字符\- 匹配前一个字符或子表达式任意次(例如:grep "g.*d" a.txt(过滤a.txt文件中的以g开头以d结尾*可以代表有任意多个字符或没有字符))

@[toc]

❀grep sed awk命令以及正则表达式

在这里插入图片描述

              总文章在:Linux常用命令
在这里插入图片描述

grep

语法:

grep 【选项】 '内容' 文件名
grep 以行为单位过滤
-i 不区分大小写
-v 取反
-w 以单词为单位进行过滤
-B 指定行数,过滤指定内容以及上几行
-A 指定行数,过滤指定内容以及下几行
-C 指定行数,过滤指定内容以及上下各几行
-o 只输出过滤的内容
-c 统计过滤的行数
-n 显示行号
-E 使用扩展正则

正则表达式:

基础正则表达式 -->grep可以直接使用
$ 以...结尾
^ 以...开头
. 匹配任意一个字符
- 匹配前一个字符或子表达式任意次(例如:grep "g. d" a.txt(过滤a.txt文件中的以g开头以d结尾可以代表有任意多个字符或没有字符))
[A-Z] [a-z] [0-9] [A-Za-z0-9]
1 取反

扩展正则表达式 egrep =grep -E
{n,m} 匹配前一个字符或子表达式n到m次
{n, } 匹配前一个字符或子表达式最少n次
{ ,m} 匹配前一个字符或表达式最少m次
{n} 匹配前一个字符或子表达式n次

+ 匹配前一个字符或子表达式1次以上(*包括0+不包括,至少)
? 匹配前一个字符或子表达式0次或1次以上
| 或
() 分组(例如:(g|f)ood)

\ 转义,取消一个字符的特殊含义

想要查看更多的正则表达式就去👉正则表达式(全)👈

查找/root这层目录有多少个普通文件?
find ./ -maxdepth 1 -type f ! -name ".*" | wc -l | ll | grep -c "^_"

在这里插入图片描述

sed

语法:

sed [选项] ‘[操作地址]sed内置操作’ 文件

常用选项

sed 流文件处理工具
-n 只输出处理的行
-i 修改文件内容,编辑文件
-e 指定多个sed内置操作,现在不常用,多个sed内置操作可以使用分号隔开
-r 支持扩展正则表达式

操作地址

2 代表处理文件的第2行
1,5 代表处理文件的第1到5行
1;5 代表处理文件的第1行和第5行
1~2 代表指定步长为2,处理的是1,3,5…行
2,~2 代表处理文件的第2行开始,到2的倍数行结束。(2,~2=2,4 ;4,~4=4,8行)
4,$ 代表处理文件第4行到最后一行
1,+2 代表处理文件的第1行到第1+2行,也就是1到3行

举例:

sed -n '2p' a.txt 打印第二行 (2)
sed -n '2,5p' a.txt 打印第二行到第五行(2,3,4,5)
sed -n '2p;5p' a.txt 打印第二行和第五行(2,5)
sed -n '3,$p' a.txt 打印第三行到最后一行(3,4,5,6,7,8,9,10)
sed -n '1~2p' a.txt 打印指定步长为2,所以打印的是1、3、5、7......行 (1,3,5,7,9)
sed -n '1,+2p' a.txt 打印第1行到第1+2行,也就是1到3行(1,2,3)

内置操作

p 打印
a 在指定行后追加数据
i 在指定行前插入行前
d 删除指定行
c 替换指定整行
s 替换指定字符,默认替换每行第一个字符
g 通常与s组合使用,替换全部指定字符
n 获取下一行
y 字符转换,类似于tr命令(正则不能使用)
r 将文件读入指定行后
w 将指定行另存为文件
q 结束sed操作
N 不会清空模式空间内的内容,将下一行追加到模式空间,两行数据以换行符

举例:

sed -i '2a abcabc' a.txt 修改文件
sed '2a abcabc' a.txt 输出一下但不修改文件
sed '3d' a.txt 删除第三行
sed 's/abc/ABC/g' a.txt 把a.txt中的所有abc修改成ABC
sed -n 'n,p' a.txt (2,4,6,8,10)
sed -n 'N,p' a.txt (1,2,3,4,5,6,7,8,9,10)
sed '3r a.txt' b.txt 把a.txt里面的数据放到b.txt的第三行的后面
sed '3,5w a.txt' b.txt 把a.txt的第三行到第五行放到b.txt里面
sed -n '3!p' a.txt 除了第三行其他都打印出来

在sed内置操作前加!,表示除了指定地址外,其余行执行该命令
s替换的两个特殊用法&和\1

使用正则:/字符或表达式/
想要查看更多的正则表达式就去👉正则表达式(全)👈

echo "http://www.baidu.com/1.mp3" | sed -r 's#(.)//(.)/(.*)#\2#'

在这里插入图片描述

awk

语法:

awk [选项] ‘BEGIN{command}匹配模式{command}END{command}’ 文件

执行流程:

执行BEGIN{commands}语句块中的语句;
从文件或标准输入中读取第1行;
如果没有匹配模式,则执行{}中的语句;
若有匹配模式,则检查该整行与匹配模式是否匹配;
若匹配, 则执行{}中的语句;
若不匹配则不执行{}中的语句,接着读取下一行;
重复这个过程, 直到所有行被读取完毕;
执行END{commands}语句块中的语句。

awk格式书写:

awk的指令一定要用单引号括起
awk的动作一定要用花括号括起
匹配模式可以是正则表达式、条件表达式或两种组合
如果模式是正则表达式要用/做分割符
多个动作之间用;号分开

**<font
color=orange>内置操作**

$0 文件的整行
&dollar;1~$n awk处理的列,以FS为分隔符
NF 查看一共有多少列
$NF 查看文件的最后一列
NR 表示处理的行数(一共有多少行) 外:指定输出第几行
FNR 表示处理当前文件的行数
FS 输入字段的分隔符,默认空格或制表符
RS 输入记录的分隔符,默认是换行
OFS 输出字段的分隔符,默认空格
ORS 输出行的分隔符,默认换行
FILENAME awk处理的文件名
PATH 文件路径
ARGC 命令行参数个数
ARGV 命令行参数数组
ENVIRON 获取Linux系统中的环境变量

awk进阶用法(内置)举例:

awk 'END{print FILENAME}' dName.txt 输出文件名加个END输出一个文件名,否则文件有多少行就输出多少个文件名
awk 'END {print ENVIRON["PATH"]}' dName.txt 掉用系统中的环境变量
head -1 a.txt | awk 'BEGIN{OFS="-"}{print $1,$2}' 查看a.txt第一行,用内置分隔符OFS指定以-分割(1.1.1.1-11)
head -1 a.txt | awk 'BEGIN{ORS="-"}{print $1,$2}' 查看a.txt第一行,用内置分隔符ORS指定以-在最后面分割(1.1.1.1 11-)
awk 'length($0)==2 {print}' h.txt 如果h.txt里面有长度等于2的就输出
echo "abc123abc" | awk '{print toupper($0)}' 把abc换成ABC
echo "ABC123ABC" | awk '{print tolower($0)}' 把ABC换成abc
getline 获取下一行
split("字符串","数组名称","分隔符") 按指定分隔符将字符串切割为数组
length("字符串") 求字符串长度
sub("原字符","替换字符","字符串") 默认替换一次,返回的是替换次数,该字符串内容 发生变化
gsub 全局替换
-F 指定分隔符
toupper 小写换大写
tolower 大写换小写


举例:

awk -F ":" 'END {print NR}' /etc/passwd 打印一共有多少行
awk -F ":" 'NR\==3{print}' /etc/passwd 打印第三行
awk -F ":" 'NR\==3 {print $2}'/etc/passwd 打印第三行第二段,以:为分隔符
awk 'NR<=3 {print }' /etc/passwd 打印前三行
awk 'NR\==3||NR==5 {print }' /etc/passwd 打印第三行和第五行

时间函数:strftime()时间 systime()时间戳

awk 'BEGIN {print strftime()}' 输出年月日时分秒(四 3月 3 09:35:34 CST 2022)
awk 'BEGIN {print strftime("%Y")}' 输出年(2022)
awk 'BEGIN {print strftime("%F")}' 输出年月日(2022-03-03)
awk 'BEGIN {print strftime("%T")}' 输出时分秒(09:36:16)
awk 'BEGIN {print systime()}' 输出时间戳(1646271406)

awk运算:

echo a | awk '{print 1/3}' 小数 (0.33333)
echo a | awk 'print int(1/3)' 整数(0)
echo a | awk '{print int (1/3*100)}' 向小数点后面移两位(33)

占位符:

%f 输出小数
%d 输出整数
%s 输出字符串

字符串格式化输出:

echo a | awk '{printf "使用率为%.2f\n",(1/3)}' 输出(使用率为0.33)
echo a | awk '{printf "使用率为%d\n",(1/3)}' 输出(使用率为0)
echo a | awk '{printf "使用率为%s\n","xiaoming"}' 输出(使用率为xiaoming)

查看内存占用率:

free -m | awk 'NR==2 {printf "当前使用率是%d%\n",int($3/$2*100)"%"}' 输出(当前使用率是12%)

awk之if判断:

awk '{if ($1=="识别完成") {print 1} else {print 0}}'
如果$1的值等于识别完成这四个字,就输出1,否则输出0;

awk扩展正则:

awk '$3~/^41/ {print $1,$2,$3}' b.txt 取第三行以41开头的输出姓,名,编号

awk '$2~/^(D|X)/ {print $1,$2}' b.txt 取第二行以D或者X开头的名输出姓,名

awk '/^2/ {print $3}' /etc/fstab 取消以#号开头的行打印输出第三行

想要查看更多的正则表达式就去👉正则表达式(全)👈

awk 'BEGIN{FS=":";print "ARGC="ARGC;for(k in ARGV) {print k"="ARGV[k]; }}' /etc/passwd

awk 'BEGIN{print ENVIRON["PATH"];}' /etc/passwd

awk 'BEGIN{OFMT="%.3f";print 2/3,123.11111111;}' /etc/passwd

awk '{tmp=$0;getline;print tmp"="$0}' test.txt

  1. a-z
  2. #
目录
相关文章
|
27天前
|
监控 Unix Linux
强大的文本处理工具组合:egrep、正则表达式、awk、cut、xargs
了解Linux和Unix文本处理的关键工具:egrep(扩展正则表达式搜索)、正则表达式、awk(文本分析)、cut(剪切文本)和xargs(传递参数给命令)。这些工具组合使用可高效处理、分析大量数据,尤其在日志分析和文本查询中。例如,从Web服务器日志中查找404错误,先用egrep筛选,再用awk或cut提取IP和URL,最后用xargs配合其他命令执行操作。掌握这些工具能提升工作效率。
|
5天前
|
JavaScript Linux
【详细讲解】Linux grep命令用法大全 片尾有示例搜索指定目录中指定文件后缀的指定字符
【详细讲解】Linux grep命令用法大全 片尾有示例搜索指定目录中指定文件后缀的指定字符
13 1
|
12天前
|
存储 Linux BI
Linux 三剑客 grep、sed、awk
Linux三剑客`grep`、`sed`和`awk`是强大的文本处理工具。`grep`用正则表达式搜索匹配行;`sed`是流式编辑器,处理文本流而不直接修改原文件;`awk`则用于灵活的文本分析和报告生成。例如,`grep`可查找匹配模式,`sed`可以删除文件内容,而`awk`能提取特定字段。通过组合使用,它们能高效解决复杂文本任务。
18 1
|
2天前
|
存储 Unix Linux
探索Linux中的sed命令:强大的文本处理工具
`sed`是Linux/Unix的流编辑器,用于文本替换、删除、新增等操作,无需直接编辑文件。它逐行处理输入,存储在模式空间,执行脚本后输出。主要特点是非交互、支持正则表达式和简洁语法。示例:`sed &#39;s/apple/orange/g&#39; example.txt`替换文本,`/error/d`删除包含&quot;error&quot;的行,`a\---`在每行后加&quot;---&quot;。使用时注意备份、测试命令和理解正则表达式。
|
26天前
|
算法 数据挖掘 Linux
探索Linux中的awk命令:强大的文本分析工具
探索Linux中的`awk`命令,一个强大的文本分析工具,用于模式扫描、数据提取与报告生成。本文介绍`awk`的用途、工作原理、特点及应用示例。`awk`基于&quot;模式-动作&quot;框架,从输入数据中匹配模式并执行相应操作。其特点包括:强大的文本处理能力、灵活的I/O及简洁的语法。示例涵盖了打印特定行、处理字段、计算统计值等场景。使用`awk`时要注意理解输入数据、测试脚本、优化性能和添加注释。深入学习以提升数据处理技能。
|
3天前
|
监控 Unix Linux
Linux中AWK命令的高级应用与案例分析
Linux中AWK命令的高级应用与案例分析
|
4天前
|
Unix Linux
Linux中grep命令的高级用法与实例
Linux中grep命令的高级用法与实例
|
5天前
|
监控 Unix Linux
Linux中AWK命令的高级应用与案例分析
Linux中AWK命令的高级应用与案例分析
|
1月前
|
Shell Linux Perl
Linux shell脚本sed使用
Linux shell脚本sed使用
19 1
|
1月前
|
Linux Perl
编程入门(七)之【Linux进阶操作AWK】
编程入门(七)之【Linux进阶操作AWK】
27 0