正则表达式的整理grep,sed,awk

简介:

首先,什么是正则表达式。
 简单的说,正则表达式就是处理字符串的方法,它是以行为单位来进行字符串的处理行为,正则表达式通过一些特殊符号的辅助,可以让用户轻易达到查找、删除、替换某特定字符串的处理程序

正则表达式 REGEXP:REGular EXPression
 basic REGEXP:基本
 Extended REGEXP:扩展
 
 
grep的用法:
  功能:进行字符串数据的对比,然后将符合用户需求的字符串打印出来,以整行为单位来进行选取的,选取的结果丢弃不符号标准的行
#grep
   -i :忽略大小写
   --color
   -v :显示没有被模式匹配到的行
   -o :只显示被模式匹配的字符串
    -E:使用扩展正则表达式
 -A #:(#为数字)附带显示后2行
 -B #:(#为数字)附带显示前2行
 -C #:(#为数字)附带显示前后2行
 
 *:任意长度的任意字符
 ?:任意单个字符
 []:以内
 [^]:以外
 
 正则表达式:REGular EXPression ,REGEXP
 元字符:
 . :任意单个字符
 []:匹配指定范围内的任意单个字符
 [^]:匹配指定范围外的任意单个字符
        字符集合
 [:digit:]:代表数字,既0-9
 [:alnum:]:代表代表英文大小写字符及数字,即a-z,A-Z,0-9
 [:blank:]:代表空格和[tab]键
 [:alpha:]:代表代表英文大小写字符a-z,A-Z
 [:cntrl:]:代表键盘上的控制按键,
 [:graph:]:除了空格符(空格和[tab]键)以外的所有
 [:lower:]:小写字符即a-z
 [:print:]:代表任何可以打印出来的字符
 [:punct:]:代表标点符号
 [:upper:]:代表大写字符即A-Z
 [:space:]:代表可以产生空白的字符
 [:xdigit:]:代表16进制的数字类型,包括0-9,A-F,a-f
 
---------------------------------基础正则表达式字符


 匹配次数(贪婪模式):
 *  :匹配其前面的字符任意次 
 .* :任意长度的任意字符
 \  :转义字符,将有特殊意义的字符特殊意义除去
 \?:匹配其前面的字符1次或0次
 \{m,n\}:匹配其前面的字符至少m次,至多n次
 
 位置锚定:

 ^ :锚定行首,此字符后边的任意内容必须出现在行首
 $:锚定行尾,此字符前边的任意内容必须出现在行尾

 ^$:空白行

 \<或\b :锚定词首,其后面的任意字符必须作为单词的首部出现
 \>或\b :锚定词尾,其前边的任意字符必须作为单词的尾部出现

 

 分组:

 \(\) 
    \(ab\)*  ab可以出现0次或任意次
     后向引用
      \1:引用第一个左括号以及与之对应的右括号所包括的所有内容
      \2:
      \3:
 
 
sed用法:可将数据进行选取,删除,替换,新增等功能。
 sed:Stream EDitor
 行编辑器(全屏编辑器:vi)
 
sed [] 'AddressCommand' file ...
 -n:静默模式,不在默认显示模式空间中的内容
 -i:直接修改原文件
 -e SCRIPT -e SCRIPT:可以同时执行多个脚本
 -f /PATH/TO/SED_SCRIPT
  sed -f /path/to/scripts file
 -r:表示使用扩展正则表达式

Address:
1、StartLine , EndLine
  比如1,100
  $:最后一行
2、/RegExp/
 /^root/
3、/pattern1/,/pattern2/
 第一次被pattern1匹配到的行开始,至第一次被pattern2匹配到的行结束,这中间的所有行
4、LineNumber
 指定的行
5、StartLine,+N
 从startline开始,向后的N行;
 
Command
 d:删除符合条件的行;
 p:显示符合条件的行;
 a \string:在指定的行后面追加新行,内容为string
  \n:可以用户换行
 i \string:在指定的行前面添加新行,内容为string
 r FILE:将指定的文件的内容添加至符合条件的行处
 w FILE:将地址指定范围内的内容另至指定的文件夹中;
 s/pattern/string/修饰符:查找并替换,默认只替换每行中第一次被模式匹配到的字符串
  加修饰符
  g:全局替换
  i:忽略字符大小写
 s///:s###  s@@@
  \(\),\1,\2
 &:引用模式匹配整个串

 
 
---------------------扩展正则表达式

 + :重复1个或多个前一个字符
 ?:0个或1个前一个字符
 | :用或(or)的方式找出数个字符串
 ():分组
 ()+:同上
 
 
 
#printf 格式化打印
 \a  警告声音输出
 \b  退格键
 \f  清除屏幕
 \n  输出新的一行
 \r  即Enter按键
 \t  水平的tab键
 \v  垂直的tab键
 \xNN  NN为两位数字,可以转换数字成为字符
 %ns  那个n是数字,s代表string ,即多少个字符,
 %ni  那个n是数字,i代表integer ,即多少个整体数字,
 %N.nf 那个n与N都是数字,f代表floating,如果有10位数,但小数点有2位,则%10.2f
 
 
 
#awk:
 以行为处理单位,以字段为最小的处理单位。
 
 awk的处理流程
  1.读入第一行,并将第一行的数据填入$0,$1,$2等变量中
  2.一如条件类型的限制,判断是否需要进行后面的操作;
  3.做完所有的动作与条件类型;
  4.若还有后续的“行”的数据,则重复上边1~3的步骤,直到所有的数据都读完为止。
  
  变量名称
   NF:每一行($0)用于的字段总数
   NR:目前awk所处理的是“第几行”数据
   FS:目前的分隔字符,默认是空格键 
   
  注意:awk后续的所有动作都是以单引号''扩住的

    awk'{pattern + action}' {filename}
    pattern表示awk在数据中查找的内容,支持正则表达式
    action 是在找到匹配内容的时候执行的一系列命令
    {}不需要在命令中始终出现,他们需要在特定模式对一系列指令进行分组
  
 awk的运算逻辑符
  >
  <
  >=
  <=
  ==
  !=
  
#dill cmp

 #dill :以行为单位来进行比较,
 #cmp  :以字符为单位来进行比较
 










本文转自 陈延宗 51CTO博客,原文链接:http://blog.51cto.com/407711169/1148239,如需转载请自行联系原作者
目录
相关文章
|
7月前
|
Linux Perl
sed删除匹配正则表达式的行
sed删除匹配正则表达式的行
372 1
|
6月前
|
监控 Unix Linux
强大的文本处理工具组合:egrep、正则表达式、awk、cut、xargs
了解Linux和Unix文本处理的关键工具:egrep(扩展正则表达式搜索)、正则表达式、awk(文本分析)、cut(剪切文本)和xargs(传递参数给命令)。这些工具组合使用可高效处理、分析大量数据,尤其在日志分析和文本查询中。例如,从Web服务器日志中查找404错误,先用egrep筛选,再用awk或cut提取IP和URL,最后用xargs配合其他命令执行操作。掌握这些工具能提升工作效率。
|
7月前
|
机器学习/深度学习 Shell 开发工具
正则表达式 与文本三剑客(sed grep awk)
正则表达式 与文本三剑客(sed grep awk)
|
7月前
|
Perl
sed删除不匹配正则表达式的行(保留匹配行)
sed删除不匹配正则表达式的行(保留匹配行)
764 2
|
7月前
|
运维 Unix Linux
grep正则表达式搜索
grep正则表达式搜索
58 3
|
7月前
|
Linux Perl
使用awk和正则表达式过滤文本或字符串 - 详细指南和示例
使用awk和正则表达式过滤文本或字符串 - 详细指南和示例
174 0
|
Linux Perl
[笔记]linux grep之正则表达式
[笔记]linux grep之正则表达式
|
6月前
|
数据库 Python
Python网络数据抓取(8):正则表达式
Python网络数据抓取(8):正则表达式
66 2
|
6月前
|
自然语言处理 JavaScript 前端开发
Python高级语法与正则表达式(二)
正则表达式描述了一种字符串匹配的模式,可以用来检查一个串是否含有某种子串、将匹配的子串做替换或者从某个串中取出符合某个条件的子串等。
|
6月前
|
安全 算法 Python
Python高级语法与正则表达式(一)
Python提供了 with 语句的写法,既简单又安全。 文件操作的时候使用with语句可以自动调用关闭文件操作,即使出现异常也会自动关闭文件操作。