linux中最为常用的三大文本(grep,sed,awk)处理工具

简介: linux中最为常用的三大文本(grep,sed,awk)处理工具

一。sed


1. sed定义


Sed is a stream editor.


sed全称是:stream editor 流编辑器


对文件的操作无非就是”增删改查“,sed命令就是实现对文件的”增删改查“。


1.1 man sed //man 的解释


sed - stream editor for filtering and transforming text


用于过滤和转换文本的流编辑器


2. 功能


Sed 主要用来自动编辑一个或多个文件、简化对文件的反复操作、编写转换程序等。


sed 本身是一个非常复杂的工具,有专门的书籍讲解 sed 的具体用法


作为linux中最为常用的三大文本(awk,sed,grep)处理工具之一


2.1 注意-sed 不会直接修改源文件数据


sed 默认不会直接修改源文件数据,而是会将数据复制到缓冲区中,修改也仅限于缓冲区中的数据


3. sed 与 vi 的区别


vi 采用的是交互式文本编辑模式,你可以用键盘命令来交互性地插入、删除或替换数据中的文本。


sed 采用的是流编辑模式,最明显的特点是,在 sed 处理数据之前,需要预先提供一组规则,sed 会按照此规则来编辑数据。


sed 是一种非交互式编辑器(即用户不必参与编辑过程),它使用预先设定好的编辑指令对输入的文本进行编辑,完成之后再输出编辑结构


4. sed工作原理


  1. sed 会一次处理一行内容。


  1. 处理时,把当前处理的行存储在临时缓冲区中,成为"模式空间",接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。


  1. 文件内容并没有改变,除非你使用重定向存储输出。


5. 语法


sed [-hnV] [ -e<script>] [-f<script文件>] [文本文件]


sed [选项] [脚本命令] 文件名


选项部分,常见选项包括 -n,-e,-i,-f,-r选项。


脚本命令,常见包括: 增a 删d 改s(替换) 插入i 打印p 取代c


5.1 选项说明:


选项 含义


  1. -e 如果需要用sed对文本内容进行多种操作,则需要执行多条子命令来进行操作。


  1. -f 指定sed脚本的文件名


如果命令操作比较多的时候就会比较麻烦,这时候把多个子命令操作写入脚本文件,然后使用 -f 选项来指定该脚本


  1. -n 取消默认的输出


默认情况下,sed 会在所有的脚本指定执行完毕后,会自动输出处理后的内容,

而该选项会屏蔽启动输出,需使用 print 命令来完成输出。


  1. -i 此选项会直接修改源文件,要慎用。


5.2 动作/脚本命令说明:


a :新增, a 的后面可以接字串,而这些字串会在新的一行出现(目前的下一行)~


c :取代, c 的后面可以接字串,这些字串可以取代 n1,n2 之间的行!


d :删除,因为是删除啊,所以 d 后面通常不接任何咚咚;


i :插入, i 的后面可以接字串,而这些字串会在新的一行出现(目前的上一行);


p :打印,亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行~只输出被替换命令修改过的行


s :取代,可以直接进行取代的工作. s 的动作可以搭配正规表示法!例如 1,20s/old/new/g 就是啦!


6. 示例及说明


下面所有例子都以 test 文件为例子说明


hello world,hello hani.
hello world,hello hani.
hani is a good man,hani is handsome.
this is the test script of sed test.
linux sed
123456789
/aaa/bbb/ccc


6.1 sed s 字符串替换


6.1.1 sed s 格式


s/pattern/replacement/flags


flags 标记 功能


  1. n 1~512 之间的数字


表示指定要替换的字符串出现第几次时才进行替换,例如,一行中有 6 个 A,但用户只想替换第二个 A,这是就用到这个标记;


  1. g 对数据中所有匹配到的内容进行替换


如果没有 g,则只会在第一次匹配成功时做替换操作。


sed ‘s/old/new/’ test 匹配每一行的第一个old替换为new


例如,一行数据中有 3 个 A,则只会替换第一个 A;


6.1.2 sed ‘s/is/are/2’ test [局部替换]


sed ‘s/old/new/’ test 匹配每一行的第一个old替换为new


sed 编辑器只替换每行中第 2 次出现的匹配模式


root@ubuntu-admin-a1:/home/sedTest# sed 's/hello/HELLO/2' test 
hello world,HELLO hani.
hello world,HELLO hani.
hani is a good man,hani is handsome.
this is the test script of sed test.
linux sed
123456789
/aaa/bbb/ccc


6.1.3 sed ‘s/hani/HANI/g’ test [g 全部替换]


替换所有匹配的字符串


root@ubuntu-admin-a1:/home/sedTest# sed 's/hani/HANI/g' test 
hello world,hello HANI.
hello world,hello HANI.
HANI is a good man,HANI is handsome.
this is the test script of sed test.
linux sed
133456789
/aaa/bbb/ccc


6.1.4 sed -n ‘s/hani/HANI/p’ test [-n p 只输出修改的行]


-n 选项会禁止 sed 输出,但 p 标记会输出修改过的行,


将二者匹配使用的效果就是只输出被替换命令修改过的行


root@ubuntu-admin-a1:/home/sedTest# sed -n 's/hani/HANI/p' test 
hello world,hello HANI.
hello world,hello HANI.
HANI is a good man,hani is handsome.


6.1.5 其他常用


sed ‘s/old/new/’ test


匹配每一行的第一个old替换为new


sed ‘s/old/new/gi’ test


匹配所有old替换为new,g 代表一行多个,i 代表匹配忽略大小写


sed ‘3,9s/old/new/gi’ test


匹配第 3~9 行所有old替换为new


6.1.6 转换windows文件格式为unix,去除\r:sed -i ‘s/\r//’ test


sed -i 's/\r//' test


\r \n 回车换行符详解


\r \n 回车换行符详解_Hani_97的博客-CSDN博客_回车换行符


6.2 sed d 删除


格式为:


[#]d


6.2.1 sed ‘d’ test [d 删除全部]


root@ubuntu-admin-a1:/home/sedTest# sed 'd' test


6.2.2 sed ‘3d’ test [3d 删除指定行]


root@ubuntu-admin-a1:/home/sedTest# sed '3d' test 
hello world,hello hani.
hello world,hello hani.
this is the test script of sed test.
linux sed
123456789
/aaa/bbb/ccc


6.2.3 sed ‘1,4d’ test [1,4d 删除区间]


root@ubuntu-admin-a1:/home/sedTest# sed '1,4d' test 
linux sed
123456789
/aaa/bbb/ccc


6.3 sed a 和 i 添加和插入


a 命令表示在指定行的后面附加一行,i 命令表示在指定行的前面插入一行,


它们的基本格式完全相同


格式为:


[#]a(或 i)\新文本内容


6.3.1 sed ‘3i you are beautiful’ test [3i 指定行之前插入]


root@ubuntu-admin-a1:/home/sedTest# sed '3i you are beautiful' test 
hello world,hello hani.
hello world,hello hani.
you are beautiful
hani is a good man,hani is handsome.
this is the test script of sed test.
linux sed
123456789
/aaa/bbb/ccc


6.3.2 sed ‘3a you are more beautiful’ test [3a 指定行之后添加]


root@ubuntu-admin-a1:/home/sedTest# sed '3a you are more beautiful' test 
hello world,hello hani.
hello world,hello hani.
hani is a good man,hani is handsome.
you are more beautiful
this is the test script of sed test.
linux sed
123456789
/aaa/bbb/ccc


6.3.3 sed ‘4i hani\ ……’ test [……\ 添加/插入多行]


root@ubuntu-admin-a1:/home/sedTest# sed '4i hani\
hani hani\
hani hani hani' test 
hello world,hello hani.
hello world,hello hani.
hani is a good man,hani is handsome.
hani
hani hani
hani hani hani
this is the test script of sed test.
linux sed
123456789
/aaa/bbb/ccc


6.4 sed c 取代


6.4.1 sed ‘3c you are beautiful’ test [3c 取代指定行]


root@ubuntu-admin-a1:/home/sedTest# sed '3c you are beautiful' test 
hello world,hello hani.
hello world,hello hani.
you are beautiful
this is the test script of sed test.
linux sed
123456789
/aaa/bbb/ccc


6.5 sed y 转换字符


y 转换命令是唯一可以处理单个字符的 sed 脚本命令


格式


[address]y/inchars/outchars/


6.5.1 sed ‘y/hani/HANI/’ test [每个字符进行映射替换]


  1. 转换命令会对 inchars 和 outchars 值进行一对一的映射,即 inchars 中的第一个字符会被转换为 outchars 中的第一个字符,


第二个字符会被转换成 outchars 中的第二个字符…


这个映射过程会一直持续到处理完指定字符。


如果 inchars 和 outchars 的长度不同,则 sed 会产生一条错误消息。


  1. 转换命令是一个全局命令,也就是说,它会文本行中找到的所有指定字符自动进行转换,而不会考虑它们出现的位置


root@ubuntu-admin-a1:/home/sedTest# sed ‘y/hani/HANI/’ test


Hello world,Hello HANI.


Hello world,Hello HANI.


HANI Is A good mAN,HANI Is HANdsome.


tHIs Is tHe test scrIpt of sed test.


lINux sed


123456789


/AAA/bbb/ccc


6.6 sed p 打印脚本命令


p 命令表示搜索符号条件的行,并输出该行的内容


格式为:


[address]p


6.6.1 sed -n ‘/hani/p’ test [只打印包含匹配文本模式的行]


root@ubuntu-admin-a1:/home/sedTest# sed -n '/hani/p' test 
hello world,hello hani.
hello world,hello hani.
hani is a good man,hani is handsome.


6.6.2 sed p 其他常用


sed ‘2p’ test 重复打印第 2 行


sed ‘1,3p’ test 重复打印第1~3行


sed -n ‘2p’ test 只打印第 2 行


sed -n ‘1,3p’ test 只打印第 1~3 行


sed -n ‘/hani/p’ test 打印匹配到 hani 的行,类似grep


sed -n ‘/hani/!p’ test ! 反选,打印没有匹配到 hani 的行


sed -n ‘s/old/new/gp’ test 只打印匹配替换的行


6.7 sed w 将所选的行写入文件


w 命令用来将文本中指定行的内容写入文件中


格式如下:


[address]w filename


6.7.1 sed ‘s/hani/HANI/w another’ test [w 写到另外文件]


w 标记会将匹配后的结果保存到指定文件中


root@ubuntu-admin-a1:/home/sedTest# sed  's/hani/HANI/w another' test 
hello world,hello HANI.
hello world,hello HANI.
HANI is a good man,hani is handsome.
this is the test script of sed test.
linux sed
123456789
/aaa/bbb/ccc
root@ubuntu-admin-a1:/home/sedTest# ls
another  test
root@ubuntu-admin-a1:/home/sedTest# cat another 
hello world,hello HANI.
hello world,hello HANI.
HANI is a good man,hani is handsome.
相关文章
|
2月前
|
Linux 网络安全 数据安全/隐私保护
Linux 超级强大的十六进制 dump 工具:XXD 命令,我教你应该如何使用!
在 Linux 系统中,xxd 命令是一个强大的十六进制 dump 工具,可以将文件或数据以十六进制和 ASCII 字符形式显示,帮助用户深入了解和分析数据。本文详细介绍了 xxd 命令的基本用法、高级功能及实际应用案例,包括查看文件内容、指定输出格式、写入文件、数据比较、数据提取、数据转换和数据加密解密等。通过掌握这些技巧,用户可以更高效地处理各种数据问题。
162 8
|
3月前
|
监控 Unix Linux
Linux系统工具
Linux系统工具
57 6
|
3天前
|
安全 网络协议 Linux
结合 `nc` 工具利用笑脸漏洞(Smile Bug)攻击 Metasploitable2 Linux
本文介绍如何使用 `nc`(Netcat)工具结合笑脸漏洞(Smiley Bug)攻击 Metasploitable2 Linux 靶机。首先概述了 `nc` 的基本功能和高级用法,包括建立连接、监听端口、文件传输等操作。接着详细描述了笑脸漏洞的原理及其在网络攻防中的应用,展示了通过 `nc` 发送恶意输入检测漏洞的方法。最后结合 Python 脚本实现更复杂的攻击场景,并强调了合法性和环境隔离的重要性。
31 13
|
10天前
|
运维 监控 Linux
推荐几个不错的 Linux 服务器管理工具
推荐几个不错的 Linux 服务器管理工具
|
13天前
|
监控 Linux 数据处理
Linux grep技巧 结合awk查询
结合 `grep` 和 `awk`,可以实现灵活、高效的文本处理和数据分析。`grep` 用于快速过滤符合条件的行,`awk` 用于进一步处理和提取数据。这种组合使用在日志分析、数据处理和系统监控等场景中尤为常见。掌握这两者的基本用法和组合技巧,可以大大提升在 Linux 环境下的工作效率。
40 7
|
3月前
|
监控 Java Linux
Linux系统之安装Ward服务器监控工具
【10月更文挑战第17天】Linux系统之安装Ward服务器监控工具
78 5
Linux系统之安装Ward服务器监控工具
|
3月前
|
JSON JavaScript Linux
Linux系统之安装cook菜谱工具
【10月更文挑战第15天】Linux系统之安装cook菜谱工具
50 2
Linux系统之安装cook菜谱工具
|
2月前
|
Linux 开发工具
linux文本管理命令
本文档介绍了Linux系统中常用的文本处理命令,包括`echo`、`cat`、`head`、`tail`、`wc`、`less`、`grep`以及重定向符号的使用方法和练习题。此外,还详细讲解了VIM编辑器的特点、工作模式、常用快捷键和高级技巧,帮助用户高效地进行文本编辑和处理。
62 4
|
2月前
|
缓存 监控 Linux
Linux性能分析利器:全面掌握perf工具
【10月更文挑战第18天】 在Linux系统中,性能分析是确保软件运行效率的关键步骤。`perf`工具,作为Linux内核自带的性能分析工具,为开发者提供了强大的性能监控和分析能力。本文将全面介绍`perf`工具的使用,帮助你成为性能优化的高手。
200 1
|
2月前
|
缓存 监控 Linux
掌握Linux性能分析:深入探索perf工具
【10月更文挑战第26天】
105 1
下一篇
开通oss服务