AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

Shell 编程(六)：文本三剑客之 awk（二）

2023-02-14 173
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： awk 是一个文本处理工具，通常用于处理数据并生成结果报告，awk的命名是它的创始人 Alfred Aho、 Peter Weinberger 和 Brian Kernighan 姓氏的首个字母组成的。

匹配的两种用法

RegExp

  1. 匹配 /etc/passwd 文件行中含有 root 字符串的所有行
> awk '/root/{print $0}' passwd
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin


  1. 匹配 /etc/passwd 文件行中以 yarn 开头的所有行
> awk '/^yarn/{print $0}' passwd

运算符匹配

关系运算符 含义
< 小于
> 大于
<= 小于等于
>= 大于等于
== 等于
!= 不等于
~ 匹配正则表达式
!~ 不匹配正则表达式
  1. 以：为分隔符，匹配 /etc/passwd 文件中第 3 个字段小于 50 的所有行信息
> awk 'BEGIN{FS=":"}$3<50{print $0}' passwd
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
nscd:x:28:28:NSCD Daemon:/:/sbin/nologin
rpc:x:32:32:Rpcbind Daemon:/var/lib/rpcbind:/sbin/nologin
rpcuser:x:29:29:RPC Service User:/var/lib/nfs:/sbin/nologin


  1. 以：为分隔符，匹配 /etc/passwd 文件中第 7 个字段不为 /bin/bash 的所有行信息
> awk 'BEGIN{FS=":"}$7!="/bin/bash"{print $0}' passwd
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nolog
...


布尔运算符匹配

布尔运算符 含义
|| 或
&& 与
！ 非
  1. 以：为分隔符，匹配 /etc/passwd 文件中包含 hdfs 或 yarn 的所有行信息
> awk 'BEGIN{FS=":"} hdfs|| yarn {print $0}' passwd


  1. 以：为分隔符，匹配 /etc/passwd 文件中第 3 个字段小于 50 并且第 4 个字段大于 50 的所行信息
> awk 'BEGIN{FS=":"}$3<50 && $4>50{print $0}' passwd
games:x:12:100:games:/usr/games:/sbin/nologin


动作中的表达式用法

运算符 含义
+ 加
- 减
* 乘
/ 除
% 模
^或** 乘方
++x 在返回 x 变量之前，x 变量加1
x++ 在返回 x 变量之后，x 变量加1
  1. 使用 awk 计算 /etc/services 中的空白行数量
> awk 'BEGIN{count=0}/^$/{count++;}END{print count}' services 
20


  1. 计算学生课程分数平均值，学生课程文件内容如下：
> cat student.txt 
allen 80 90 87 91
mike  78 86 93 96
Kobe  66 92 82 78
Jerry 98 74 66 54
wang  87 21 100 43
> awk 'BEGIN{printf "%-10s %-10s %-10s %-10s %-10s %-10s \n","name","chinese","math","english","computer","avg"}{avg=($2+$3+$4+$5)/4;printf "%-10s %-10d %-10d %-10d %-10d %-10d \n",$1,$2,$3,$4,$5,avg}' student.txt
name       chinese    math       english    computer   avg        
allen      80         90         87         91         87         
mike       78         86         93         96         88         
Kobe       66         92         82         78         79         
Jerry      98         74         66         54         73         
wang       87         21         100        43         62


动作中的条件及循环语句

条件语句

if (condition)
    action-1
else
    action-2


  1. 以：为分隔符，只打印 /etc/passwd 中第 3 个字段的数值在 50-100 范围内的行信息
> awk 'BEGIN{FS=":"}$3>50 && $3<100{print $0}' passwd
dbus:x:81:81:System message bus:/:/sbin/nologin
tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
tcpdump:x:72:72::/:/sbin/nologin


  1. 计算下列每个同学的平均分数，并且只打印平均分数大于90的同学姓名和分数信息
> cat student.txt
allen 80 90 87 91
mike  78 86 93 96
Kobe  66 92 82 78
Jerry 98 74 66 54
wang  87 21 100 43
> awk 'BEGIN{printf "%-10s %-10s %-10s %-10s %-10s %-10s \n","name","chinese","math","english","computer","avg"}{avg=($2+$3+$4+$5)/4;if(avg>90)printf "%-10s %-10d %-10d %-10d %-10d %-10d \n",$1,$2,$3,$4,$5,avg}' student.txt


循环语句

for (initialisation; condition; increment/decrement)
    action
while (condition)
    action
do(
)while()


  1. 计算1+2+3+4+…+100的和，请使用while、 do while、 for三种循环方式实现（我只写for了）
> awk 'BEGIN{sum=0;for(i=0;i<=100;i++)sum+=i;print sum}'
5050


字符串函数

函数名 解释 函数返回值
length(str) 计算字符串长度 整数长度值
index(str1,str2) 在 str1 中查找 str2 的位置 返回值为位置索引，从 1 计数
tolower(str) 转换为小写 转换后的小写字符串
toupper(str) 转换为大写 转换后的大写字符串
substr(str,m,n) 从 str 的 m 个字符开始，截取 n 位 截取后的子串
split(str,array,fs) 按 fs 切割字符串，结果保存 array 切割后的子串的个数
match(str,RE) 在 str 中按照 RE 查找，返回位置 返回索引位置
sub(RE,RepStr,str) 在 str 中搜索符合 RE 的字串，将其替换为 RepStr;(只替换第一个) 替换的个数
gsub(RE,RepStr,str) 在 str 中搜索符合 RE 的字串，将其替换为 RepStr;(替换所有) 替换的个数
  1. 以：为分隔符，返回 /etc/passwd 中每行中每个字段的长度
> awk '{print length($0)}' passwd
31
32
39
36
40
31
44
32
46
44
...


  1. 搜索字符串“I have a dream“中出现“ea“字符串的位置
> awk 'BEGIN{str="I have a dream";print index(str,"ea")}'
12


  1. 将字符串“Hadoop is a bigdata Framawork“全部转换为小写
> awk 'BEGIN{str="Hadoop is a bigdata Framawork";print tolower(str)}'
hadoop is a bigdata framawork


  1. 将字符串“Hadoop is a biadata Framawork“全部转换为大写
> awk 'BEGIN{str="Hadoop is a bigdata Framawork";print toupper(str)}'
HADOOP IS A BIGDATA FRAMAWORK


常用选项

选项 解释
-v 参数传递
-f 指定脚本文件
-F 指定分割符(FS)
-V 查看 awk 的版本号
… …

数组用法

shell 中数组的用法：

array=("百度" "阿里" "腾讯")
功能 命令
打印元素 echo ${array[2]}
打印元素个数 echo ${#array[@]}
打印元素长度 echo ${#array[3]}
给元素赋值 array[1]=”字节跳动”
删除元素 unset array[2];unset array;
分片访问 echo ${array[@]: 1:3}
元素内容替换 $array [@/e/E]
数组的遍历 for a in ${array[0]}
do
 echo $a
done

awk 中数组的用法:

array[index]=value
功能 命令
创建数组 array[1]=”hello”
删除数组元素 delete array[1]
多维数组 array[“0,0”] = 100;
array[“0,1”] = 200;
array[“0,2”] = 300;
array[“1,0”] = 400;
array[“1,1”] = 500;
array[“1,2”] = 600;
  1. 统计主机上所有的 TCP 连接状态数，按照每个 TCP 状态分类
> netstat -an | grep tcp| awk '{array[$6]++}END{ for (a in array) print a,array[a]}'
LISTEN 21
SYN_RECV 1
ESTABLISHED 4
TIME_WAIT 2


  1. 计算横向数据综合，计算纵向数据总和
> cat student.txt 
allen 80 90 87 91
mike  78 86 93 96
Kobe  66 92 82 78
Jerry 98 74 66 54
wang  87 21 100 43
> awk 'BEGIN{printf "%-10s %-10s %-10s %-10s %-10s %-10s \n","name","chinese","math","english","computer","total"}{total=$2+$3+$4+$5;totol_count+=total;chinese_count+=$2;math_count+=$3;english_count+=$4;computer_count+=$5;printf "%-10s %-10d %-10d %-10d %-10d %-10d \n",$1,$2,$3,$4,$5,total}END{printf "%-10s %-10d %-10d %-10d %-10d %-10d \n","total",chinese_count,math_count,english_count,computer_count,totol_count}' student.txt
name       chinese    math       english    computer   total      
allen      80         90         87         91         348        
mike       78         86         93         96         353        
Kobe       66         92         82         78         318        
Jerry      98         74         66         54         292        
wang       87         21         100        43         251        
total      409        363        428        362        1562


参考 & 引用

Linux awk 命令 | 菜鸟教程

    文章标签：
    Perl
    Shell
    分布式计算
    索引
    Linux
    资源调度
    网络协议
    Hadoop
    关键词：
    Shell编程
    Shell编程awk
    Shell awk
    Shell文本
    Shell编程文本
    陈大剩
    目录
    相关文章
    我不是游客20240119
    |
    2月前
    |
    运维 监控 Shell
    深入理解Linux系统下的Shell脚本编程
    【10月更文挑战第24天】本文将深入浅出地介绍Linux系统中Shell脚本的基础知识和实用技巧，帮助读者从零开始学习编写Shell脚本。通过本文的学习，你将能够掌握Shell脚本的基本语法、变量使用、流程控制以及函数定义等核心概念，并学会如何将这些知识应用于实际问题解决中。文章还将展示几个实用的Shell脚本例子，以加深对知识点的理解和应用。无论你是运维人员还是软件开发者，这篇文章都将为你提供强大的Linux自动化工具。
    我不是游客20240119
    105 1
    Codelinghu
    |
    3月前
    |
    Shell
    Shell编程（下）
    Shell编程（下）
    Codelinghu
    116 1
    Codelinghu
    |
    3月前
    |
    Shell Linux Windows
    Shell编程（上）
    Shell编程（上）
    Codelinghu
    58 1
    小Lee
    |
    3月前
    |
    Shell Linux 开发工具
    如何快速上手shell编程
    shell编程
    小Lee
    74 12
    小Lee
    |
    3月前
    |
    监控 Unix Shell
    shell脚本编程学习
    【10月更文挑战第1天】shell脚本编程
    小Lee
    95 12
    北惜
    |
    网络协议 Shell Linux
    【Linux】shell编程基础（超详细，入门看这一篇就够了）(下）
    【Linux】shell编程基础（超详细，入门看这一篇就够了）(下）
    北惜
    115 0
    神秘泣男子
    |
    8月前
    |
    存储 Shell C语言
    shell脚本 编程 变量 基本入门（详解）
    shell脚本 编程 变量 基本入门（详解）
    神秘泣男子
    95 1
    北惜
    |
    Java Shell Linux
    【Linux】shell编程基础（超详细，入门看这一篇就够了）(上）
    【Linux】shell编程基础（超详细，入门看这一篇就够了）
    北惜
    873 0
    camellia。
    |
    Java Shell Linux
    shell（一）shell编程入门
    开始学习shell编程之前，我先啰嗦几句，作为一个web开发工作者，在部署网站的时候不可避免的要使用linux服务器。 对于大部分同学来说，配置linux服务器的环境是一件很难的事情，包括刚开始接触linux的我也是一样的。 最开始的时候也是碰到了不少坑，走了很多弯路。后来有了第一篇关于服务器环境配置的教程《Centos7.6配置lnmp》关于这篇教程纯粹就是我一点一点试出来的。在百度上各种查，把好用的部分整理在了一起。里边也包含了很多东西，包括yum的配置，nginx的配置文件编写。以上的东西，惭愧点说，我是看不懂的。反正好用了就行了呗。
    camellia。
    68 1
    流烟默
    |
    8月前
    |
    机器学习/深度学习 Unix Shell
    Shell编程基础入门(Bash|变量与输入输出重定向2&1)
    Shell编程基础入门(Bash|变量与输入输出重定向2&1)
    流烟默
    138 0

    热门文章

    最新文章

  • 1
    使用Python执行Shell命令并获取结果
  • 2
    Python执行Shell命令并获取结果：深入解析与实战
  • 3
    shell常见的文件属性检查
  • 4
    shell 模拟多进程 （2）
  • 5
    shell中的函数、数组、告警系统分析
  • 6
    Python shell中使用自己写的model
  • 7
    shell脚本实现对网卡流量监控
  • 8
    linux shell编程之登录检验（不涉及数据库）
  • 9
    学习shell 与shell脚本 学习笔记
  • 10
    shell 脚本之判断语句 if 详解
  • 1
    使用 HBase Shell 进行数据的实时监控和备份
    113
  • 2
    使用 HBase Shell 进行数据的批量导入和导出
    683
  • 3
    Hbase 的基本shell 命令
    297
  • 4
    MaxCompute产品使用合集之odps shell如何将ech变量的结果集合写入文件，并且指定服务器的位置
    60
  • 5
    阿里云云效产品使用合集之如何用私有构建机运行shell命令打出的镜像作为下一个阶段的入参
    115
  • 6
    【开源推荐】一个手机端使用的终端shell工具
    1551
  • 7
    Linux网络、文本处理工具与 Shell 脚本
    143
  • 8
    shell脚本 配饰ssh
    53
  • 9
    Shell 脚本编程保姆级教程（下）
    218
  • 10
    Shell 脚本编程保姆级教程（上）
    122

    • 相关课程

    更多
  • Linux Shell 编程
  • Shell 脚本进阶
  • Shell 脚本入门
  • Linux Shell 编程入门与实战
  • Shell 编程入门到精通
  • Linux文本处理、正则表达式与Vim

    • 相关电子书

    更多
  • Shell 脚本速查手册
  • 低代码开发师（初级）实战教程
  • 阿里巴巴DevOps 最佳实践手册

    • 相关实验场景

    更多
  • Alibaba Cloud Linux操作系统Shell程序
    • 下一篇
    阿里云oss简介和如何对接使用