sed:字符流的编辑工具 (行编辑工具)==按照每行中的字符进行处理操作
sed 命令作用说明:
1).擅长对行进行操作处理
2).擅长将文件的内容信息进行修改调整/删除
编写脚本:修改文件内容信息时
a sed命令查询信息方法
根据文件内容的行号进行查询
test1:显示单行信息
# sed -n '2p' kang.txt
test2:根据行号信息,输出多行内容(连续)
# sed -n '1,3p' kang.txt
test3:根据内容信息,输出多行内容(不连续)
# sed -n '1p;3p' kang.txt
根据文件内容的信息进行查询
test1:根据内容信息,输出单行内容
# 将有kang 行的信息,输出单行内容
# sed -n '/kang/p' kang.txt
test2: 根据内容信息,输出多行内容(连续)
# 将有kang到he行的信息都输出出来
# sed -n '/kang/,/he/p' kang.txt
b sed命令添加信息方法
在文件第一行添加信息
kang2021
# sed '1ikang2021' kang.txt
在文件的最后一行添加信息
kang2022
# sed '7akang2021' kang.txt
# sed '$akang,520' kang.txt
cat -n kang.txt 显示具体内容行号
总结: sed 命令的指令信息
pprint输出信息
i insert 插入信息,在指定信息前面插入新的信息
aappend附加信息,在指定信息后面附加新的信息
ddelete删除指定信息
ssubstitute代替 g全局
test: 在有hehao 的行前面添加youxiu;在zhidaobu后面添加wohenbang
# sed -e '/hehao/iyouxiu' -e '/zhidaobu/awohenbang' kang.txt
# 添加多行信息
# sed '$a100\n101' kang.txt
总结: sed命令的参数信息
-n 取消默认输出
-r 识别扩展正则
-i 真实编辑文件(将内存中的信息覆盖到磁盘中)
-e 识别sed命令多个操作指令
文件中添加内容的方法:
1.vim/vi
2.cat>>xxx<EOF ..EOF
3.echo-e"xxx\nxxx"
4.sed'na/ixxx\nxxx'
c sed命令删除信息方法
- 删除单行信息
# sed ‘2d’ kang.txt
- 删除多行信息
# sed '2,4d' kang.txt (2-4)
# sed '3d;6d' kang.txt (3和6)
- 删除有kang520信息的行
# sed '/kang520/d' kang.txt
- 取消空行显示
# sed '/^$/d' kang.txt
d sed命令修改信息方法
# sed 's#原内容#修改后内容#g' kang.txt
# sed 's#()#\n#g' 文件信息 后项引用前项
提取ip地址的方法
# ip a s ens33|sed -rn '3s#^.*t (.*)/24.*#\1#gp'
修改文件内容直接进行自动备份
# sed -i .bak 's#kang520#kang2020#g' kang.txt
批量修改文件的扩展名,将kangxxx.txt 扩展名修改为kang.bak
# ls kang*.txt|sed -r 's#(.*)txt#mv & \1bak#g'
专业命令:rename
rename .txt .bak kang*.txt
awk 擅长对列进行操作/进行数据信息的统计(数组)
作用特点:
- 排除信息
- 查询信息
- 统计信息
- 替换信息
语法格式:
[root@ansible ~]# cat awk.txt
Zhang Dandan 2733885168 :250:100:175
Zhang Xiaoyu 390320151 :155:90:201
Meng Feixue 80042789 :250:60:50
Wu Waiwai 70271111 :250:80:75
Liu Bing 4117483 :250:100:175
Wang Xiaoai 3515064655 :50:95:135
Zi Gege 1986787350 :250:168:200
Lao Nanhai 918391635 :250:100:300
命令查询信息方法:
按照行号查询信息:
# 单行
# awk 'NR==2' awk.txt
Zhang Xiaoyu 390320151 :155:90:201
# 多行
# awk 'NR==2,NR==4' awk.txt
Zhang Xiaoyu 390320151 :155:90:201
Meng Feixue 80042789 :250:60:50
Wu Waiwai 70271111 :250:80:75
# 多行(不连续)
# awk 'NR==2;NR==4' awk.txt
Zhang Xiaoyu 390320151 :155:90:201
Wu Waiwai 70271111 :250:80:75
按照字符查询
# awk 'Xiaoyu' awk.txt
# awk '/Xiaoyu/' awk.txt
Zhang Xiaoyu 390320151 :155:90:201
# awk '/Xiaoyu/,/Waiwai/' awk.txt
Zhang Xiaoyu 390320151 :155:90:201
Meng Feixue 80042789 :250:60:50
Wu Waiwai 70271111 :250:80:75
# awk '/Xiaoyu/;/Waiwai/' awk.txt
Zhang Xiaoyu 390320151 :155:90:201
Wu Waiwai 70271111 :250:80:75
指定列
# awk '/Xiaoyu/{print $1,$3}' awk.txt
Zhang 390320151
# awk '/Xiaoyu/{print $1","$3}' awk.txt
Zhang,390320151
# awk '/Zhang/{print $NF}' awk.txt
:250:100:175
:155:90:201
-F 指定分隔符
awk '/Zhang/{print $NF}' awk.txt| awk -F ":" '{print $3}'
100
90
# awk -F ":" '/Zhang/{print $3}' awk.txt
100
90
# awk -F "[ :]+" '/Zhang/{print $5}' awk.txt
100
90
# awk -F "[ :]+" '/Zhang/{print $(NF-1)}' awk.txt
100
90
显示所有以41开头的ID号码的人的全名和ID号码
# awk '$3~/^41/{print $1,$2,$3}' awk.txt
Liu Bing 4117483
Lao Nanhai 418391635
显示所有ID号码最后一位数字是1或5的人的全名
1)
# awk '$3~/[15]$/{print $1,$2}' awk.txt
Zhang Xiaoyu
Wu Waiwai
Wang Xiaoai
Lao Nanhai
2)
# awk '$3~/1$|5$/{print $1,$2}' awk.txt
Zhang Xiaoyu
Wu Waiwai
Wang Xiaoai
Lao Nanhai
3)
[root@ansible ~]# awk '$3~/(1|5)$/{print $1,$2}' awk.txt | column -t
Zhang Xiaoyu
Wu Waiwai
Wang Xiaoai
Lao Nanhai
gsub (/需要替换的信息/,"修改成什么信息",将哪列信息进行修改)
# awk '$2~/Xiaoyu/{gsub(/:/,"$",$NF);print$NF}' awk.txt
$155$90$201
文件中的空行进行排除/文件中注释信息进行排除
# grep -Ev "^#|^$" 文件信息
# sed -n '/^#|^$/!p' 文件信息
# awk '/^#|^$/' awk.txt
#
总结: awk命令中$符号的用法
$1 $2 $3 : 取第几列
$NF : 取最后一列信息
$(NF-n) :取倒数第几列
$0 : 取所有列的信息
awk高级功能说明
a. 对日志信息进行统计(技术)
• b. 对日志信息数值进行求和 客户端-下载 服务端-上传 (消耗网络流量)
c. (数组)进行排序分析
d. 脚本编写(循环语句 判断语句)
awk模式说明:匹配的条件信息
普通模式
- 正则表达式作为模式
# awk '/^oldboy/{print xx}'
- 利用比较匹配信息
NR==2
NR>=2
NR<=2
NR==3,NR==10 (范围)
- 特殊模式
BEGIN{}
#awk'BEGIN{print "姓","名","捐款记录"}{print $0}'awk.txt| column -t
姓 名 捐款记录
Zhang Dandan 2733885168 :250:100:175
Zhang Xiaoyu 390320151 :155:90:201
Meng Feixue 80042789 :250:60:50
Wu Waiwai 70271111 :250:80:75
#
Liu Bing 4117483 :250:100:175
Wang Xiaoai 3515064655 :50:95:135
Zi Gege 1986787350 :250:168:200
Lao Nanhai 418391635 :250:100:300
- END{}
# awk 'BEGIN{print "姓","名","捐款记录"}{print $0}END{print "操作结束"}' awk.txt | column -t
姓 名 捐款记录
Zhang Dandan 2733885168 :250:100:175
Zhang Xiaoyu 390320151 :155:90:201
Meng Feixue 80042789 :250:60:50
Wu Waiwai 70271111 :250:80:75
#
Liu Bing 4117483 :250:100:175
Wang Xiaoai 3515064655 :50:95:135
Zi Gege 1986787350 :250:168:200
Lao Nanhai 418391635 :250:100:300
操作结束
# awk -vFS=":" '{print $2}' awk.txt
250
155
250
250
250
50
250
250
# awk '/^$/{i=i+1;print i}' awk.txt
1
2
# awk '/^$/{i=i+1}END{print i}' awk.txt
2
- 统计系统中有多少个虚拟用户 普通用户