Linux文本处理工具AWK使用解析

简介:

      在linux系统上有三大文本处理工具分别是:grep,sed,awk,这次主要来看看awk。

awk  option  ‘pattern'  file

-F    指定分隔符;

-v     申明自定义变量;

查看当前系统上,用户名和用户shell,输出分隔符为~.

# awk -F: 'BEGIN{OFS="~";print "UserName   Shell"}{print $1,$7}END{print "================end============="}' /etc/passwd

wKioL1OnkG2Te8bLAAHoqAr3-7g056.jpg

还可以在中间加入模式(pattern),指定只对以in字符结尾的行做处理。

# awk -F: 'BEGIN{OFS="~";print "UserName   Shell"}/in$/{print $1,$7}END{print "================end============="}' /etc/passwd

wKiom1OnkOzi04CKAAGVk9MVmA4087.jpg

显示当前系统上id号小于等于500的用户。(表达式匹配)

# awk -F: '$3<=500{print $1,$3}' /etc/passwd

wKiom1OnkfTysUq8AADz8_EeYe4797.jpg

显示当前系统上shell是/bin/bash的用户(模式匹配)

# awk -F: 'BEGIN{OFS=":";print "UserName  Shell"}$7~/bash/{print $1,$7}' /etc/passwd

wKioL1Onl2bjz1u4AADhHFbpQSY508.jpg

控制语句:

判断用户ID是否为0,如果是就输出用户名并说明是一个管理员用户,如果不是输出用户名,说明是一个普通用户。

# awk -F: '{if ($3==0) {print $1,"Administrator";} else {print  $1,"Common User"}}' /etc/passwd

wKioL1OnxgKSOvcjAAFwjsNQKlA986.jpg

统计下系统上有多少个id号大于500的用户

# awk -F: -v Sum=0 '{if ($3>=500) Sum++}END{print Sum}' /etc/passwd

wKiom1OnyD6yBqjXAABze-oENBI068.jpg

显示number.txt文件中,所以大于100的数值。

# awk  '{i=1;while (i<=NF) {if ($i>=100) print $i;i++}}' number.txt

wKioL1On2DPxRUTHAACNMVVAN1k595.jpg

do-while    至少执行一次循环体,不管条件满足与否。

# awk -F: '{i=4;do {print $i;i--}while (i>4)}' /etc/passwd

wKioL1On2s3THeYCAABwnCQ0Xxs231.jpg

遍历/etc/passwd  $1-$3数值,只输出字符数大于4的数据。

# awk -F: '{for(i=1;i<=3;i++){if (length($i)>=4){print $i}}}' /etc/passwd

wKioL1On3VizB9Q_AACb890E34E218.jpg

使用for显示number.txt文件中,所以大于100的数值。

# awk '{for (i=1;i<=NF;i++){if ($i>=100) {print $i}}}' number.txt

wKiom1On3qPwg7AiAACC6mKQAmo878.jpg

查看网络连接各个状态的次数

# netstat -tan | awk '/^tcp/{state[$NF]++}END{for ( S in state) print S,state[S]}'

wKioL1On5E_AS9BkAAG3w3BNjSI837.jpg

统计日志每个ip访问了多少次

# awk '{ip[$1]++}END{for ( A  in ip ) print  A,ip[A]}'  access_log

统计当前系统用户,每种shell各有多少个。

# awk -F: '{count[$NF]++}END{for (A in count )print A,count[A]}' /etc/passwd

wKioL1On57PwTWsFAAC6YdjgZnE778.jpg

awk的内置函数

split        将数据按分隔符切片保存至数组里

length     返回字符串的字符个数

查看当前每个IP连接,与连接次数。

# netstat -tan | awk '/:80/{split($5,client,":");IP[client[4]]++}END{for (A in IP) print A,IP[A]}'

wKioL1On9P-w0vu2AAFuwWg7z2Y078.jpg

就是数组和split函数这里难了

OK完成了

 


本文转自qw87112 51CTO博客,原文链接:http://blog.51cto.com/tchuairen/1429894


相关文章
|
7月前
|
Unix Linux
对于Linux的进程概念以及进程状态的理解和解析
现在,我们已经了解了Linux进程的基础知识和进程状态的理解了。这就像我们理解了城市中行人的行走和行为模式!希望这个形象的例子能帮助我们更好地理解这个重要的概念,并在实际应用中发挥作用。
148 20
|
7月前
|
Ubuntu Linux
"unzip"命令解析:Linux下如何处理压缩文件。
总的来说,`unzip`命令是Linux系统下一款实用而方便的ZIP格式文件处理工具。本文通过简明扼要的方式,详细介绍了在各类Linux发行版上安装 `unzip`的方法,以及如何使用 `unzip`命令进行解压、查看和测试ZIP文件。希望本文章能为用户带来实际帮助,提高日常操作的效率。
1101 12
|
8月前
|
Linux
Linux命令的基本格式解析
总的来说,Linux命令的基本格式就像一个食谱,它可以指导你如何使用你的计算机。通过学习和实践,你可以成为一个真正的“计算机厨师”,创造出各种“美味”的命令。
220 15
|
9月前
|
机器学习/深度学习 人工智能 JSON
Resume Matcher:增加面试机会!开源AI简历优化工具,一键解析简历和职位描述并优化
Resume Matcher 是一款开源AI简历优化工具,通过解析简历和职位描述,提取关键词并计算文本相似性,帮助求职者优化简历内容,提升通过自动化筛选系统(ATS)的概率,增加面试机会。
1224 18
Resume Matcher:增加面试机会!开源AI简历优化工具,一键解析简历和职位描述并优化
|
8月前
|
存储 Linux
Linux内核中的current机制解析
总的来说,current机制是Linux内核中进程管理的基础,它通过获取当前进程的task_struct结构的地址,可以方便地获取和修改进程的信息。这个机制在内核中的使用非常广泛,对于理解Linux内核的工作原理有着重要的意义。
398 11
|
8月前
|
存储 人工智能 API
离线VS强制登录?Apipost与Apifox的API工具理念差异深度解析
在代码开发中,工具是助手还是枷锁?本文通过对比Apipost和Apifox在断网环境下的表现,探讨API工具的选择对开发自由度的影响。Apifox强制登录限制了离线使用,而Apipost支持游客模式与本地存储,尊重开发者数据主权。文章从登录策略、离线能力、协作模式等方面深入分析,揭示工具背后的设计理念与行业趋势,帮助开发者明智选择,掌握数据控制权并提升工作效率。
|
9月前
|
数据可视化 测试技术 API
前后端分离开发:如何高效调试API?有工具 vs 无工具全解析
在前后端分离开发中,API调试至关重要。本文探讨有无调试工具时如何高效调试API,重点分析Postman、Swagger等工具优势及无工具代码调试方法。通过实际场景如用户登录接口,对比两者特性。同时介绍Apipost-Hepler(IDEA插件),将可视化与代码调试结合,提供全局请求头配置、历史记录保存等功能,优化团队协作与开发效率,助力API调试进入全新阶段。
|
9月前
|
监控 Shell Linux
Android调试终极指南:ADB安装+多设备连接+ANR日志抓取全流程解析,覆盖环境变量配置/多设备调试/ANR日志分析全流程,附Win/Mac/Linux三平台解决方案
ADB(Android Debug Bridge)是安卓开发中的重要工具,用于连接电脑与安卓设备,实现文件传输、应用管理、日志抓取等功能。本文介绍了 ADB 的基本概念、安装配置及常用命令。包括:1) 基本命令如 `adb version` 和 `adb devices`;2) 权限操作如 `adb root` 和 `adb shell`;3) APK 操作如安装、卸载应用;4) 文件传输如 `adb push` 和 `adb pull`;5) 日志记录如 `adb logcat`;6) 系统信息获取如屏幕截图和录屏。通过这些功能,用户可高效调试和管理安卓设备。
|
9月前
|
JSON 监控 物联网
WebSocket 调试全攻略:核心解析、工具选择与对比!
WebSocket 是一种全双工、实时交互的网络通信协议,适用于即时通信、实时数据流、多人协作、IoT 等场景。调试 WebSocket 时,工具应具备握手管理、实时消息收发、自定义 Header、消息大小告警、分组管理、多连接支持和断线重现等功能。主流调试工具如 Postman、ApiPost 和 ApiFox 各有优劣:Postman 界面友好适合基础调试;ApiPost 支持高级功能如消息分组和自动重连;ApiFox 则强化了多连接支持。选择工具时需根据具体需求和团队熟悉度决定。
|
Linux 开发工具
linux文本管理命令
本文档介绍了Linux系统中常用的文本处理命令,包括`echo`、`cat`、`head`、`tail`、`wc`、`less`、`grep`以及重定向符号的使用方法和练习题。此外,还详细讲解了VIM编辑器的特点、工作模式、常用快捷键和高级技巧,帮助用户高效地进行文本编辑和处理。
284 4