Linux三剑客之sed和awk的基本应用

简介:

一、sed

1)sed简介

  sed的全称为stream editor,sed在处理时一次只读取文件的一行并对这一行进行处理,并且sed将处理后的数据只会显示在屏幕上,并不会对原文件进行修改,所以说sed是一个行编辑器

2)sed的使用格式

      sed [options] "script" FILE....

3)详解各选项与编辑命令的使用

    选项:

     -n:静默模式,不输出模式空间内的内容,默认打印空间模式内的内容

     -r:扩展的正则表达式

     -f 文件:指定sed脚本文件

     -i:直接编辑源文件

    编辑命令

      d:删除

      p:打印

      i \:在被指定到的行前面插入文本

      a \:在被指定到的行下面插入文本

      r 文件路径:在指定的位置插入另外一个文件的内容

      w 文件路径:将符合条件的所有行保存至指定的文件中

      = 显示符合条件的所在行的行号

      s@@@:查找条件也可以使用模式,但是被替换的内容不能使用模式  

          使用格式:

              sed '地址定界s@查找条件@替换后的文本@修饰符

              地址定界:自定义的起始行到结束行,默认为全文

                   有三种方式表示

                      startline,endline

                        /pat1/,/pat2/

                        /pattern/

              用法:sed [options] 'addr1[,addr2]编辑命令'FILE...

                   sed [options] "addr1[,addr2]编辑命令"FILE...

                  sed在做替换时还支持正则表达式,正则表达式的使用本处不做讲解。

              修饰符:

                   g:global,全局替换

                   i:ignore-case,不区分字符大小写

4)练习

1)替换/etc/inittab文件中”id:3:initdefault:"一行中的数字为5

    sed 's@\(id:\)[0-9]\(:initdefault\)@\15\2' /etc/inittab

2)删除/etc/init.d/funcions文件中的空白行

    sed "/^$/d" /etc/init.d/funcions

3)删除/etc/inittab文件中位于行首的#;

    sed 's@^#@@g' /etc/inittab

4)删除/etc/rc.d/rc.sysinit文件中以#后跟至少一个空白字符开头的行的行首的#和空白字符。

   sed "s@^#[[:space:]]\{1,\}\@@g" /etc/rc.d/rc.sysinit

5)删除/boot/grub/grub.conf文件中行首的空白字符。

   sed "s@^[[:space:]]\{1,\}@@g" /boot/grub/grub.conf

6)取出一个文件路径的目录名称,如/etc/sysconfig/network,其目录为/etc/sysconfig,功能类似dirname命令;

  echo /etc/sysconfig/network | sed "s@[^/]\{1,\}/\?$@@"

二、awk

1)简介

  awk是一个报告生成工具,旨在把文件中读取到的每一行的每个字段分别进行格式化,而后进行显示,awk支持使用变量、条件判断、循环、数组

  现在linux系统上用到的都是gawk

2)格式:

  awk [options] 'script'FILE....

  awk [options] '/pattern/{action}'FILE...

3)选项与模式的使用

   选项

    -F:指定切割符,默认为空白

    $0:整行显示

    $1,$2.......:位置参数

   模式

      地址定界:

       /pat1/,/pat2/,表示一个范围

       /pattern/,表示被匹配到的行

       表达式

       >,>=,<,<=,==,!=,~

      BEGIN:表示在执行动作前要做的操作

      END:表示在动作执行后的操作

  awk的常用四种分隔符:

      输入:

         行分隔符

         字段分隔符

      输出:

         行分隔符

         字段分隔符  

    awk的内置变量

     NF:最后一个字段

     FS:指定输入分隔符,在BEGIN中定义,相当于-F,默认为空白

     OFS:指定输出时的分隔符,在BEGIN中定义,默认为空白

4)练习

1.显示GID小于500的组

    awk -F : '$3<500{print $1}' /etc/group

2.显示默认的shell为nologin的用户

    awk -F : '$7~/nologin$/{print $1}' /etc/passwd

3,显示eth0网卡文件的配置信息,注意,只显示等号后面的值

    awk -F = '{print $2}' /etc/sysconfig/network-scripts/ifcfg-eth0

4.显示/etc/sysctl。conf文件中定义的内核参数:只显示名称,

    awk -F =' !/^#|^$/{print $1}'/etc/sysctl.conf

5.显示eth0网卡的ip地址,通过ifconfig命令结果进行过滤

   ifconfig eth0 |awk '/inet addr/{print $2}' |awk -F : '{print $2}'

建议:如果只是为了显示文本内容,建议优先考虑grep



本文转自wangfeng7399 51CTO博客,原文链接:http://blog.51cto.com/wangfeng7399/1367819,如需转载请自行联系原作者

相关文章
|
12天前
|
监控 Linux 数据处理
Linux grep技巧 结合awk查询
结合 `grep` 和 `awk`,可以实现灵活、高效的文本处理和数据分析。`grep` 用于快速过滤符合条件的行,`awk` 用于进一步处理和提取数据。这种组合使用在日志分析、数据处理和系统监控等场景中尤为常见。掌握这两者的基本用法和组合技巧,可以大大提升在 Linux 环境下的工作效率。
39 7
|
2月前
|
缓存 Linux 开发者
Linux内核中的并发控制机制:深入理解与应用####
【10月更文挑战第21天】 本文旨在为读者提供一个全面的指南,探讨Linux操作系统中用于实现多线程和进程间同步的关键技术——并发控制机制。通过剖析互斥锁、自旋锁、读写锁等核心概念及其在实际场景中的应用,本文将帮助开发者更好地理解和运用这些工具来构建高效且稳定的应用程序。 ####
49 5
|
2月前
|
存储 安全 关系型数据库
Linux系统在服务器领域的应用与优势###
本文深入探讨了Linux操作系统在服务器领域的广泛应用及其显著优势。通过分析其开源性、安全性、稳定性和高效性,揭示了为何Linux成为众多企业和开发者的首选服务器操作系统。文章还列举了Linux在服务器管理、性能优化和社区支持等方面的具体优势,为读者提供了全面而深入的理解。 ###
|
3月前
|
Linux Perl
Linux awk命令使用技巧
【10月更文挑战第16天】Linux awk命令使用技巧
55 4
|
3月前
|
存储 安全 Linux
Linux文件管理命令md5sum awk
通过结合 `md5sum`和 `awk`,不仅可以高效地进行文件完整性校验,还能灵活地处理和分析校验结果,为系统管理、数据审计等工作提供强大的支持。
98 2
|
4月前
|
机器学习/深度学习 Linux Perl
Linux文本处理三剑客之sed详解
这篇博客详细讲解了Linux中的文本处理工具sed的使用方法和常用命令。
274 9
Linux文本处理三剑客之sed详解
|
4月前
|
Linux Perl
Linux之sed命令
Linux之sed命令
|
4月前
|
人工智能 监控 Shell
常用的 55 个 Linux Shell 脚本(包括基础案例、文件操作、实用工具、图形化、sed、gawk)
这篇文章提供了55个常用的Linux Shell脚本实例,涵盖基础案例、文件操作、实用工具、图形化界面及sed、gawk的使用。
837 2
|
4月前
|
Linux Perl
6-20|linux sed命令
6-20|linux sed命令
|
5月前
|
Unix Linux Ruby
在windows和linux上高效快捷地发布Dash应用
在windows和linux上高效快捷地发布Dash应用
218 4