两个实用的shell命令:sed和awk用法

简介: 两个实用的shell命令:sed和awk用法

我们先来看一下力扣上的shell题库中的一题:


fbef4b55d09a4a749652c8449b3890fd.png

实现这个功能一般来说我们会想到tail和head命令来指定打印前几行或者后几行。但使用sed命令可以更简洁的实现相同的功能:

tail -n+10 file.txt | head -1
# 利用sed或awk
sed -n '10p' file.txt
-n: 仅显示script处理后的结果
p: 打印 匹配行
awk "NR==10" file.txt


sed的用法


sed 是一种流编辑器,它是文本处理中非常重要的工具,本身是一个管道命令,主要是以行为单位进行处理,支持正则表达式,不影响源文件,可以将数据行进行替换、删除、新增、选取等特定工作。


命令格式

1. sed [options] 'command' file(s)
2. sed [options] -f scriptfile file(s)


参数:文件 指定待处理的文本文件列表


sed常用选项

  • -e<script>或--expression=<script>:以选项中的指定的script来处理输入的文本文件;
  • -f<script文件>或--file=<script文件>:以选项中指定的script文件来处理输入的文本文件;
  • -h或--help:显示帮助;
  • -n或--quiet或——silent:仅显示script处理后的结果;
  • -V或--version:显示版本信息。


sed常用命令


  • a\ # 在当前行下面插入文本。
  • i\ # 在当前行上面插入文本。
  • c\ # 把选定的行改为新的文本。
  • d # 删除,删除选择的行。
  • D # 删除模板块的第一行。
  • p # 打印模板块的行。
  • P # (大写) 打印模板块的第一行。
  • s # 替换指定字符


sed常用场景


sed最常用的就是替换操作

sed替换标记

g # 表示行内全面替换。  

p # 表示打印行。  

w # 表示把行写入一个文件。  

x # 表示互换模板块中的文本和缓冲区中的文本。  

y # 表示把一个字符翻译为另外的字符(但是不用于正则表达式)

\1 # 子串匹配标记

& # 已匹配字符串标记


常用场景示例:

# 用linux替换全部unix
sed 's/unix/linux/g' test.txt
# 只替换第三个
sed '3 s/unix/linux/g' test.txt
# 在范围内替换
sed '1,3 s/unix/linux/g' geekfile.txt


s 命令表示替换 第二个参数unix表示原内容 第三个参数linux表示替换内容  g表示全局替换

8aff4a2301da43c9accf3f57ba4d7853.png


注意: 如果我们仅仅是想对单词进行修改的话,因为sed做的是文本匹配,可能会出现把一些文件的前缀或者后缀替换的操作。解决办法是单词后面加个空格 。


awk的用法

awk命令与sed不同,它是按列处理,支持正则表达式。它在命令行中使用,但更多是作为脚本来使用。数据可以来自标准输入(stdin)、一个或多个文件,或其它命令的输出。

命令格式

awk [options] 'script' var=value file(s)
awk [options] -f scriptfile var=value file(s)


awk常用选项


  • -F fs fs指定输入分隔符,fs可以是字符串或正则表达式,如-F:,默认的分隔符是连续的空格或制表符
  • -v var=value 赋值一个用户定义变量,将外部变量传递给awk
  • -f scripfile 从脚本文件中读取awk命令
  • -m[fr] val 对val值设置内在限制,-mf选项限制分配给val的最大块数目;-mr选项限制记录的最大数目。这两个功能是Bell实验室版awk的扩展功能,在标准awk中不适用。


awk常用场景

awk获取指定行

awk '{ print $2,$3 }' filename


awk查看进程pid


1. sheepxi 1234 a1
2. sheepfri 5678 a2
3. sheepman 1000 c1


常用场景:比如说我们在开发时需要查看一下当前有哪些进程正在跑

3d2aec7c38584aa99d84357323a669d7.png

此时如果我们需要打印一下进程id,我们可以管道符连接awk 进行查看


de3fff64f52c47c2ab48298794462dc9.png


相关练习:统计词频


相关文章
|
1月前
|
人工智能 Shell iOS开发
AI Shell:在命令行里“对话” AI ,微软推出将 AI 助手引入命令行的 CLI 工具,打造对话式交互命令行
AI Shell 是一款强大的 CLI 工具,将人工智能直接集成到命令行中,帮助用户提高生产力。AI Shell 支持多种 AI 模型和助手,通过多代理框架提供丰富的功能和灵活的使用模式。
102 7
|
1月前
|
Java Shell Windows
java Runtime.exec()执行shell/cmd命令:常见的几种陷阱与一种完善实现
java Runtime.exec()执行shell/cmd命令:常见的几种陷阱与一种完善实现
43 1
|
2月前
|
Web App开发 网络协议 Linux
linux命令总结(centos):shell常用命令汇总,平时用不到,用到就懵逼忘了,于是专门写了这篇论文,【便持续更新】
这篇文章是关于Linux命令的总结,涵盖了从基础操作到网络配置等多个方面的命令及其使用方法。
78 1
linux命令总结(centos):shell常用命令汇总,平时用不到,用到就懵逼忘了,于是专门写了这篇论文,【便持续更新】
|
2月前
|
Shell 知识图谱
Shell printf 命令
10月更文挑战第3天
25 1
|
2月前
|
Shell PHP
Shell echo命令
10月更文挑战第3天
23 0
|
2月前
|
JSON Java Shell
Dockerfile中RUN、CMD、ENTRYPOINT、SHELL命令的区别
理解这些指令的差异和应用场景,有助于构建高效、灵活且易于管理的Docker镜像。在实际应用中,根据需要选择合适的指令,可以有效地控制镜像构建和容器运行的行为。
228 0
|
2月前
|
SQL Shell 数据库
在TDengine容器中创建初始化数据库的Shell命令实例
以上就是在Docker容器环境中部署并初始化TDengine数据库的全过程,希望对你有所帮助。
89 0
|
2月前
|
Shell
一个用于添加/删除定时任务的shell脚本
一个用于添加/删除定时任务的shell脚本
114 1
|
1月前
|
Shell Linux 测试技术
6种方法打造出色的Shell脚本
6种方法打造出色的Shell脚本
67 2
6种方法打造出色的Shell脚本
|
1月前
|
XML JSON 监控
Shell脚本要点和难点以及具体应用和优缺点介绍
Shell脚本在系统管理和自动化任务中扮演着重要角色。尽管存在调试困难、可读性差等问题,但其简洁高效、易于学习和强大的功能使其在许多场景中不可或缺。通过掌握Shell脚本的基本语法、常用命令和函数,并了解其优缺点,开发者可以编写出高效的脚本来完成各种任务,提高工作效率。希望本文能为您在Shell脚本编写和应用中提供有价值的参考和指导。
62 1