两个实用的shell命令:sed和awk用法

简介: 两个实用的shell命令:sed和awk用法

我们先来看一下力扣上的shell题库中的一题:


fbef4b55d09a4a749652c8449b3890fd.png

实现这个功能一般来说我们会想到tail和head命令来指定打印前几行或者后几行。但使用sed命令可以更简洁的实现相同的功能:

tail -n+10 file.txt | head -1
# 利用sed或awk
sed -n '10p' file.txt
-n: 仅显示script处理后的结果
p: 打印 匹配行
awk "NR==10" file.txt


sed的用法


sed 是一种流编辑器,它是文本处理中非常重要的工具,本身是一个管道命令,主要是以行为单位进行处理,支持正则表达式,不影响源文件,可以将数据行进行替换、删除、新增、选取等特定工作。


命令格式

1. sed [options] 'command' file(s)
2. sed [options] -f scriptfile file(s)


参数:文件 指定待处理的文本文件列表


sed常用选项

  • -e<script>或--expression=<script>:以选项中的指定的script来处理输入的文本文件;
  • -f<script文件>或--file=<script文件>:以选项中指定的script文件来处理输入的文本文件;
  • -h或--help:显示帮助;
  • -n或--quiet或——silent:仅显示script处理后的结果;
  • -V或--version:显示版本信息。


sed常用命令


  • a\ # 在当前行下面插入文本。
  • i\ # 在当前行上面插入文本。
  • c\ # 把选定的行改为新的文本。
  • d # 删除,删除选择的行。
  • D # 删除模板块的第一行。
  • p # 打印模板块的行。
  • P # (大写) 打印模板块的第一行。
  • s # 替换指定字符


sed常用场景


sed最常用的就是替换操作

sed替换标记

g # 表示行内全面替换。  

p # 表示打印行。  

w # 表示把行写入一个文件。  

x # 表示互换模板块中的文本和缓冲区中的文本。  

y # 表示把一个字符翻译为另外的字符(但是不用于正则表达式)

\1 # 子串匹配标记

& # 已匹配字符串标记


常用场景示例:

# 用linux替换全部unix
sed 's/unix/linux/g' test.txt
# 只替换第三个
sed '3 s/unix/linux/g' test.txt
# 在范围内替换
sed '1,3 s/unix/linux/g' geekfile.txt


s 命令表示替换 第二个参数unix表示原内容 第三个参数linux表示替换内容  g表示全局替换

8aff4a2301da43c9accf3f57ba4d7853.png


注意: 如果我们仅仅是想对单词进行修改的话,因为sed做的是文本匹配,可能会出现把一些文件的前缀或者后缀替换的操作。解决办法是单词后面加个空格 。


awk的用法

awk命令与sed不同,它是按列处理,支持正则表达式。它在命令行中使用,但更多是作为脚本来使用。数据可以来自标准输入(stdin)、一个或多个文件,或其它命令的输出。

命令格式

awk [options] 'script' var=value file(s)
awk [options] -f scriptfile var=value file(s)


awk常用选项


  • -F fs fs指定输入分隔符,fs可以是字符串或正则表达式,如-F:,默认的分隔符是连续的空格或制表符
  • -v var=value 赋值一个用户定义变量,将外部变量传递给awk
  • -f scripfile 从脚本文件中读取awk命令
  • -m[fr] val 对val值设置内在限制,-mf选项限制分配给val的最大块数目;-mr选项限制记录的最大数目。这两个功能是Bell实验室版awk的扩展功能,在标准awk中不适用。


awk常用场景

awk获取指定行

awk '{ print $2,$3 }' filename


awk查看进程pid


1. sheepxi 1234 a1
2. sheepfri 5678 a2
3. sheepman 1000 c1


常用场景:比如说我们在开发时需要查看一下当前有哪些进程正在跑

3d2aec7c38584aa99d84357323a669d7.png

此时如果我们需要打印一下进程id,我们可以管道符连接awk 进行查看


de3fff64f52c47c2ab48298794462dc9.png


相关练习:统计词频


相关文章
|
21天前
|
存储 运维 Shell
shell中for while until 三种循环的用法
shell编程中,有几种常见的循环结构,包括for循环、while循环和until循环,总的来说,循环shell编程中扮演着至关重要的角色,它们使得自动化任务变得更加容易,提高了效率,并且可以处理各种各样的编程需求。
shell中for while until 三种循环的用法
|
22天前
|
Web App开发 Java Linux
Linux之Shell基本命令篇
Linux之Shell基本命令篇
Linux之Shell基本命令篇
|
2月前
|
缓存 Shell Linux
【Shell 命令集合 链接器(linker)工具】Linux ld命令 将目标文件与库链接为可执行文件或库文件
【Shell 命令集合 链接器(linker)工具】Linux ld命令 将目标文件与库链接为可执行文件或库文件
39 0
|
2月前
|
监控 Shell Linux
【Shell 命令集合 系统管理 】Linux 显示当前登录到系统的用户信息 who命令 使用指南
【Shell 命令集合 系统管理 】Linux 显示当前登录到系统的用户信息 who命令 使用指南
139 45
|
6天前
|
机器学习/深度学习 Shell Perl
第七章 Shell文本处理三剑客之sed
第七章 Shell文本处理三剑客之sed
|
10天前
|
存储 Shell 数据安全/隐私保护
ZooKeeper【基础知识 04】控制权限ACL(原生的 Shell 命令)
【4月更文挑战第11天】ZooKeeper【基础知识 04】控制权限ACL(原生的 Shell 命令)
26 7
|
11天前
|
Shell
ZooKeeper【基础 02】zookeeper-3.6.0 常用Shell命令(节点增删改查+监听器+四字指令)
【4月更文挑战第10天】ZooKeeper【基础 02】zookeeper-3.6.0 常用Shell命令(节点增删改查+监听器+四字指令)
21 0
|
17天前
|
分布式计算 Hadoop Shell
Hadoop【基础知识 04】【HDFS常用shell命令】(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
【4月更文挑战第4天】Hadoop【基础知识 04】【HDFS常用shell命令】(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
29 5
|
21天前
|
Shell Perl
shell学习(九) 【shell sed用法】
shell学习(九) 【shell sed用法】
9 0
|
2月前
|
存储 Shell 数据安全/隐私保护
【Shell 编程指南】Shell read命令 (从标准输入读取数值)
【Shell 编程指南】Shell read命令 (从标准输入读取数值)
29 0