AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

Linux四剑客之awk数组

2021-10-01 389
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 1.Awk数组概述1.什么是awk数组数组其实也算是变量, 传统的变量只能存储一个值，但数组可以存储多个值。2.awk数组应用场景通常用来统计、比如：统计网站访问TOP10、网站Url访问TOP10等等等3.awk数组统计技巧1.在awk中，使用数组时，不仅可以使用1 2 3 ..n作为数组索引，也可以使用字符串作为数组索引。2.要统计某个字段的值，就将该字段作为数组的索引，然后对索引进行遍历。4.awk数组的语法array_name[index]=value5.awk数组示例1.统计/etc/passwd中各种类型shell的数量[root@test ~]# awk

1.Awk数组概述
1.什么是awk数组
数组其实也算是变量, 传统的变量只能存储一个值，但数组可以存储多个值。
2.awk数组应用场景
通常用来统计、比如：统计网站访问TOP10、网站Url访问TOP10等等等
3.awk数组统计技巧
1.在awk中，使用数组时，不仅可以使用1 2 3 ..n作为数组索引，也可以使用字符串作为数组索引。
2.要统计某个字段的值，就将该字段作为数组的索引，然后对索引进行遍历。
4.awk数组的语法
array_name[index]=value
5.awk数组示例
1.统计/etc/passwd中各种类型shell的数量

[root@test ~]# awk -F ":" '{a[$NF]++}END{for (i in a){printf "%-20s%s\n",i,a[i]}}' /etc/passwd
/bin/sync 1
/bin/bash 3
/sbin/nologin 21
/sbin/halt 1
/sbin/shutdown 1

或者写到文件里

[root@test ~/2021-07-02]# cat jishu.awk
BEGIN{

FS=":"

}

赋值操作（因为awk是一行一行读入的，相当是循环了整个文件中的内容）

{

hosts[$NF]++

}

赋值完成后，需要通过循环的方式将其索引的次数遍历出来

END {

for (item in hosts) {
    print item,
    hosts[item]
}

}
[root@test ~/2021-07-02]# awk -f jishu.awk /etc/passwd
/bin/sync 1
/bin/bash 3
/sbin/nologin 21
/sbin/halt 1
/sbin/shutdown 1
2.统计主机上所有的tcp链接状态数，按照每个tcp状态分类

[root@test ~]# netstat -an | grep tcp | awk '{arr[$6]++}END{for (i in arr) print i,arr[i]}'
LISTEN 4
ESTABLISHED 3
3.统计当前系统22端口连接状态信息。<当前时实状态ss>

[root@test ~]# ss -an|awk '/:22/{tcp[$2]++} END {for(i in tcp){print i,tcp[i]}}'
LISTEN 2
ESTAB 3
4.统计当前访问的每个IP的数量<当前时实状态 netstat,ss>

[root@sfy ~]# ss -an|awk '$5~/:443/{ips[$5]++} END {for(i in ips){print i,ips[i]}}'
172.17.188.85:443 324
*:443 1
2.Awk数组示例
Nginx日志分析，日志格式如下：

log_format main '$remote_addr - $remote_user [$time_local] "$request" '

                  '$status $body_bytes_sent "$http_referer" '
                  '"$http_user_agent" "$http_x_forwarded_for"';

52.55.21.59 - - [25/Jan/2018:14:55:36 +0800] "GET /feed/ HTTP/1.1" 404 162 "https://www.buyao007.icu/" "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; de) Presto/2.9.168 Version/11.52" "-"
1.仅使用awk统计一天内访问最多的10个IP
[root@test ~/2021-07-02]# cat access_ip.awk
{

ip[$1]++

}
END{

for (i=30000;i>0;i--){
    for ( b in ip ){
        if (i==ip[b]){
            printf "%-15s%-10s%s\n",b,"出现的次数为",ip[b]
            c++
            break
        }
    #    if (c==10){exit}
    }
    if (c==10){break}
}

}
[root@test ~/2021-07-02]# awk -f access_ip.awk access.log
58.220.223.62 出现的次数为 12049
112.64.171.98 出现的次数为 10856
114.83.184.139 出现的次数为 1982
117.136.66.10 出现的次数为 1662
115.29.245.13 出现的次数为 1318
223.104.5.197 出现的次数为 961
116.216.0.60 出现的次数为 957
180.111.48.14 出现的次数为 939
223.104.5.202 出现的次数为 871
223.104.4.139 出现的次数为 869
2.统计访问大于10000次的IP
[root@test ~/2021-07-02]# cat access_ip\>10000.awk
{

ip[$1]++

}
END{

for (i=30000;i>=10000;i--){
    for ( b in ip ){
        if (i==ip[b]){
            printf "%-15s%-10s%s\n",b,"出现的次数为",ip[b]
            c++
            break
        }
    #    if (c==10){exit}
    }
    if (c==10){break}
}

}
[root@test ~/2021-07-02]# awk -f access_ip\>10000.awk access.log
58.220.223.62 出现的次数为 12049
112.64.171.98 出现的次数为 10856
3.统计访问最多的10个页面($request top 10)
[root@test ~/2021-07-02]# cat ngx_request_top_10.awk
{

ip[$7]++

}
END{

for (i=5000;i>=1;i--){
    for ( b in ip ){
        if (i==ip[b]){
            printf "%-15s%-10s%s\n",b,"出现的次数为",ip[b]
            c++
            break
        }
    }
    if (c==10){break}
}

}
[root@test ~]# awk -f ngx_request_top_10.awk access.log
/online/api/mc/cart/new/getCart.json出现的次数为 4838
/online/api/mc/sys/nowTime.json出现的次数为 3859
/online/mc/crm/integration/ance.json出现的次数为 2445
/online/api/mc/cart/save.json出现的次数为 1872
/ccbs/global/ontextPath.jsp出现的次数为 1797
/mobile/ account/tpl/footerTpl.html出现的次数为 1548
/online/aguage=zh_CNECIAL_MENU出现的次数为 1344
/mobile/tpl/productCategoryTpl.html出现的次数为 912
/ccbs/ plugins/images/loading.gif出现的次数为 838
/favicon.ico 出现的次数为 810
4.统计每个URL访问内容总大小($body_bytes_sent)
[root@test ~/2021-07-02]# cat ngx_request_body.awk
{

ip[$7]=$10+ip[$7]

}
END{

for ( b in ip ){
    printf "%-15s%-10s%s\n",b,"大小为",ip[b]/1024/1024"MB"
}

}
[root@test ~/2021-07-02]# awk -f ngx_request_body.awk access.log|sort -k2 -nr|head
/mobe/the/odu/home/images/11/03.png大小为 109.826MB
/mobe/the/odu/home/images/11/04.png大小为 98.5827MB
/mobe/the/odu/home/images/11/02.png大小为 98.2485MB
/mobe/the/odu/home/images/11/05.png大小为 78.9912MB
/online/images/pro _90601.png大小为 63.8436MB
/online/odbproduct_90602.png大小为 63.4223MB
/online/oges/prodduct_90600.png大小为 62.222MB
/mobe/the/odu/11/4.png?v=21020大小为 59.6233MB
/mobe/the/odu/home/images/11/2.png大小为 59.1334MB
/mobe/the/odu/home/images/11/01.png大小为 57.6912MB
5.统计11月22日，每个IP访问状态码数量($status)
[root@test ~/2021-07-02]# cat ngx_ip_code.awk
$3~/22/Nov/
{

ip_code[$1" ""状态码"" "$9]++

}
END{

for ( item in ip_code ) {
    print item,ip_code[item]
}

}
[root@test ~/2021-07-02]# awk -f ngx_ip_code.awk access.log |sort -k4 -rn|head|sort -k1.1,1.13 -nrk4|column -t
223.104.5.197 状态码 200 958
117.136.66.10 状态码 200 1655
116.216.0.60 状态码 200 951
114.83.184.139 状态码 200 1975
112.64.171.98 状态码 200 5803
112.64.171.98 状态码 304 3792
112.64.171.98 状态码 404 1148
58.220.223.62 状态码 304 6412
58.220.223.62 状态码 200 4421
58.220.223.62 状态码 404 956
6.统计每个ip访问状态码为404及出现的次数($status)
[root@test ~/2021-07-02]# cat ngx_status_top_404.awk
$3~/22/Nov/
{

ip_code[$1" ""状态码"" "$9]++

}
END{

for ( item in ip_code ) {
if (item~/404$/){
    print item,ip_code[item]
}
}

}
[root@test ~/2021-07-02]# awk -f ngx_status_top_404.awk access.log|sort -nrk4|head|sort -k1.1,1.13 -r -nrk4|column -t
219.145.184.196 状态码 404 51
182.34.127.126 状态码 404 51
175.25.171.26 状态码 404 46
140.206.89.150 状态码 404 45
115.29.245.13 状态码 404 89
114.141.164.19 状态码 404 51
114.111.166.19 状态码 404 60
112.64.171.98 状态码 404 1148
58.220.223.62 状态码 404 956
10.8.4.6 状态码 404 57
7.统计各种状态码数量

统计状态码出现的次数

[root@test ~/2021-07-02]# awk '{code[$9]++} END {for(i in code){print i,code[i]}}' access.log
408 13
301 146
302 789
304 18712
400 242
403 37
200 142666
413 50
404 3863
500 7
499 418
[root@test ~]# awk '{if ($9>=200 && $9<300) {j++}\
else if ($9>=300 && $9<400) {k++}\
else if ($9>=400 && $9<500) {n++}\
else if($9>=500) {p++}}\
END{\
printf "%s%s%s%s%s\n",j"\n",k"\n",n"\n",p"\n",i+j+k+n+p}' access.log
3.Awk数组案例
1.模拟生产环境数据脚本
[root@test ~/2021-07-02]# cat insert.sh

!/bin/bash

function create_random()
{

min=$1
max=$(($2-$min+1))
num=$(date +%s%N)
echo $(($num%$max+$min))

}
INDEX=1
i=1
while [ $i -le 3000 ]
do

for user in liu guan zhang sun fuyang
do
    COUNT=$RANDOM
    NUM1=`create_random 1 $COUNT`
    NUM2=`expr $COUNT - $NUM1`
    echo "`date '+%Y-%m-%d %H:%M:%S'` $INDEX user: $user insert $COUNT records into datebase:product table:detail, insert $NUM1 records successfully,failed $NUM2 records" >> ./db.log.`date +%Y%m%d`
    INDEX=`expr $INDEX + 1`
done

i=$[$i+1]
done
数据格式如下：
2021-07-04 16:11:15 5000 user: fuyang insert 4704 records into datebase:product table:detail, insert 1243 records successfully,failed 3461 records
需求1：统计每个人分别插入了多少条records进数据库

[root@test ~/2021-07-02]# cat db1.awk
BEGIN {

printf "%-20s%-20s\n","User","Total records"

}
{

success[$5]+=$7
#success[$5]=success[$5]+$7

}
END {

for (u in success)
printf "%-20s%-20d\n",u,success[u]

}
[root@test ~/2021-07-02]# awk -f db1.awk db.log.20210704
User Total records
guan 16355784
liu 16838450
fuyang 16517171
sun 16383219
zhang 16444839
需求2：统计每个人分别插入成功了多少record，失败了多少record

[root@test ~/2021-07-02]# cat db2.awk
BEGIN {

printf "%-20s%-20s%-20s\n","User","Success","Failed"

}
{

success[$5]+=$13
failed[$5]+=$16

}
END {

for (u in success) 
printf "%-20s%-20d%-20d\n",u,success[u],failed[u]

}
[root@test ~/2021-07-02]# awk -f db2.awk db.log.20210704
User Success Failed
guan 8090983 8264801
liu 7972402 8866048
fuyang 8281769 8235402
sun 8102644 8280575
zhang 8408980 8035859
需求3：将需求1和需求2结合起来，一起输出，输出每个人分别插入多少条数据，多少成功，多少失败，并且要格式化输出，加上标题

[root@test ~/2021-07-02]# cat db3.awk
BEGIN {

printf "%-10s%-10s%-10s%-10s\n","User","Total","Success","Failed"

}
{

success[$5]+=$13
failed[$5]+=$16

}
END {

for (u in success) 
printf "%-10s%-10s%-10d%-10d\n",u,success[u]+failed[u],success[u],failed[u]

}
[root@test ~/2021-07-02]# awk -f db3.awk db.log.20210704
User Total Success Failed
guan 16355784 8090983 8264801
liu 16838450 7972402 8866048
fuyang 16517171 8281769 8235402
sun 16383219 8102644 8280575
zhang 16444839 8408980 8035859
需求4：在例子3的基础上，加上结尾，统计全部插入记录数，成功记录数，失败记录数。

[root@test ~/2021-07-02]# cat db4.awk
BEGIN {

printf "%-10s%-10s%-10s%-10s\n","User","Total","Success","Failed"

}
{

total[$5]+=$7
success[$5]+=$13
failed[$5]+=$16

#在原始数据进行统计累计
total_sum+=$7
success_sum+=$13
failed_sum+=$16

}
END {

for (u in success) {
printf "%-10s%-10s%-10d%-10d\n",u,total[u],success[u],failed[u]
}
printf "%-10s%-10s%-10d%-10d\n","total",total_sum,success_sum,failed_sum

}
[root@test ~/2021-07-02]# awk -f db4.awk db.log.20210704
User Total Success Failed
guan 16355784 8090983 8264801
liu 16838450 7972402 8866048
fuyang 16517171 8281769 8235402
sun 16383219 8102644 8280575
zhang 16444839 8408980 8035859
total 82539463 40856778 41682685

文章标签：
Perl
Shell
.NET
机器学习/深度学习
SQL
索引
网络协议
API
存储
开发框架
关键词：
Linux awk
Linux数组
Linux awk数组
Linux剑客
Linux剑客awk
q64z6hisszdtc
目录
相关文章
游客mldfis24krfue
|
3月前
|
Linux Perl
在Linux中，如何使用请用 cut 或者 awk，sed命令取出 linux 中 eth0 的 IP 地址？
在Linux中，如何使用请用 cut 或者 awk，sed命令取出 linux 中 eth0 的 IP 地址？
游客mldfis24krfue
92 0
sunrr
|
1月前
|
Linux Perl
Linux awk命令使用技巧
【10月更文挑战第16天】Linux awk命令使用技巧
sunrr
28 4
蓝易云
|
1月前
|
存储 安全 Linux
Linux文件管理命令md5sum awk
通过结合 `md5sum`和 `awk`，不仅可以高效地进行文件完整性校验，还能灵活地处理和分析校验结果，为系统管理、数据审计等工作提供强大的支持。
蓝易云
58 2
游客mldfis24krfue
|
3月前
|
Linux 数据处理 Perl
在Linux中，awk命令的如何使用？
在Linux中，awk命令的如何使用？
游客mldfis24krfue
38 1
游客mldfis24krfue
|
3月前
|
数据挖掘 Linux Perl
在Linux中，awk和sed命令的作用?
在Linux中，awk和sed命令的作用?
游客mldfis24krfue
30 0
游客mldfis24krfue
|
3月前
|
Linux BI 数据处理
在Linux中，如何使用awk和sed进行文本处理？
在Linux中，如何使用awk和sed进行文本处理？
游客mldfis24krfue
84 0
wljslmz
|
3月前
|
存储 Unix Linux
`awk` 命令指南 | 如何在 Linux 中排列文件的输出
【8月更文挑战第20天】
wljslmz
155 0
土木林森
|
9天前
|
监控 Linux
如何检查 Linux 内存使用量是否耗尽？这 5 个命令堪称绝了！
本文介绍了在Linux系统中检查内存使用情况的5个常用命令：`free`、`top`、`vmstat`、`pidstat` 和 `/proc/meminfo` 文件，帮助用户准确监控内存状态，确保系统稳定运行。
土木林森
73 6
龙大吉
|
10天前
|
Linux
在 Linux 系统中，“cd”命令用于切换当前工作目录
在 Linux 系统中，“cd”命令用于切换当前工作目录。本文详细介绍了“cd”命令的基本用法和常见技巧，包括使用“.”、“..”、“~”、绝对路径和相对路径，以及快速切换到上一次工作目录等。此外，还探讨了高级技巧，如使用通配符、结合其他命令、在脚本中使用，以及实际应用案例，帮助读者提高工作效率。
龙大吉
41 3
东方睿赢
|
10天前
|
监控 安全 Linux
在 Linux 系统中，网络管理是重要任务。本文介绍了常用的网络命令及其适用场景
在 Linux 系统中，网络管理是重要任务。本文介绍了常用的网络命令及其适用场景，包括 ping（测试连通性）、traceroute（跟踪路由路径）、netstat（显示网络连接信息）、nmap（网络扫描）、ifconfig 和 ip（网络接口配置）。掌握这些命令有助于高效诊断和解决网络问题，保障网络稳定运行。
东方睿赢
31 2

热门文章

最新文章

  • 1
    Python3的安装与部署（Linux版本）
  • 2
    萌新的Linux学习之路（七）
  • 3
    linux系统中对逻辑卷(lvm)的实现
  • 4
    Linux终端执行shell脚本，提示权限不够的解决办法
  • 5
    Linux下如何查找可执行文件
  • 6
    linux下用文本处理器处理二进制文件后的终端乱码问题
  • 7
    Linux命令总结【待续】
  • 8
    linux新的API signalfd、timerfd、eventfd使用说明
  • 9
    linux内核分析之进程地址空间【转】
  • 10
    Linux 小知识翻译 - 「cron」
  • 1
    服务器Linux系统配置mysql数据库主从自动备份
    202
  • 2
    Linux文件系统
    53
  • 3
    linux静态库，动态库总结
    54
  • 4
    linux守护进程介绍 | Linux的热拔插UDEV机制
    71
  • 5
    基于linux串口实现语音刷抖音
    68
  • 6
    linux下实现串口功能
    51
  • 7
    linux下OLED屏开发-IIC协议
    114
  • 8
    实现linux定时器
    55
  • 9
    linux条件变量知识点总结
    72
  • 10
    linux互斥锁（pthread_mutex)知识点总结
    277

    • 相关课程

    更多
  • Linux Web服务器Nginx搭建与配置
  • Linux用户和组管理
  • Linux服务器运维基本操作
  • Linux企业运维实战 - 入门及常用命令
  • Linux Shell 编程入门与实战
  • Linux网络进阶 - TCP/IP协议及OSI七层模型

    • 相关电子书

    更多
  • Alibaba Cloud Linux 3 发布
  • ECS系统指南之Linux系统诊断
  • ECS运维指南 之 Linux系统诊断

    • 相关实验场景

    更多
  • 使用计算巢企业应用，一键获取专属的Linux服务器管理软件
  • 部署Linux主机管理系统WDCP
  • 快速配置Linux云服务器
  • 基于Linux命令实现WordPress手动建站
  • Linux系统的安全登录
  • Linux指令入门-文件管理

    • 推荐镜像

    更多
  • mxlinux-iso
  • archlinuxarm
  • archlinuxcn
    • 下一篇
    无影云桌面