shell脚本命令(sotr/unip/tr/cut/eval)与正则表达式

简介: 1、sort命令2、unip命令3、tr命令4、cut命令5、eval命令6、正则表达式

1、sort命令


概述:

  • Linux sort命令用于将文本文件内容加以排序。
  • sort命令可针对文本文件的内容,以行为单位来排序


格式:

sort [选项]  参数


常用选项:

  • -f∶ 忽略大小写,会将小写字母都转换为大写字母来进行比较;
  • -b∶ 忽略每行前面的空格;
  • -n∶ 按照数字进行排序;
  • -r∶ 反向排序;
  • -u∶ 等同于uniq,表示相同的数据仅显示一行;
  • -t∶ 指定字段分隔符,默认使用 【Tab】键分隔;
  • -k∶指定排序字段;
  • -o <输出文件>∶ 将排序后的结果转存至指定文件


d1.pngd2.pngd3.png


2、unip命令


概述:

  • Linux uniq 命令用于检查及删除文本文件中重复出现的行列,一般与 sort 命令结合使用。
  • uniq 可检查文本文件中重复出现的行列。

格式:

uniq [选项]  参数

常用选项:

  • -c∶ 进行计数,并删除文件中重复出现的行;
  • -d∶ 仅显示连续的重复行;
  • -u∶ 仅显示出现一次的行


d4.pngd5.png


3、tr命令


概述:

  • Linux tr 命令用于转换或删除文件中的字符。
  • tr 指令从标准输入设备读取数据,经过字符串转译后,将结果输出到标准输出设备。

 

格式:

tr [选项]  参数


常用选项:

  • -c∶保留字符集1的字符,其他的字符(也包括换行符\n)用字符集2替换
  • -d∶ 删除所有属于字符集1的字符
  • -s∶ 将重复出现的字符串压缩为一个字符串;用字符集2替换 字符集1
  • -t∶ 字符集2 替换 字符集1,不加选项和结果

参数

  • 字符集1:指定要转换或删除的原字符集,当执行转换操作时,必须使用参数“字符集2”指定转换的目标字符集,但是执行删除操作时,不需要参数“字符集2”;
  • 字符集2:指定要转换成的目标字符集


d6.pngd7.pngd8.pngd9.png


使用tr进行排序

  1. 使用echo ${arr[*]}可以输出数组列表
  2. 结合| tr " " "\n" 可以将输出内容中的空格换成换行符
  3. 然后在使用| sort -n对输出的内容进行按数值从小到大排序即可。


d10.png


4、cut命令


概述:

Linux cut命令用于显示每行从开头算起 num1 到 num2 的文字。


cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段写至标准输出。

如果不指定 File 参数,cut 命令将读取标准输入。必须指定 -b、-c 或 -f 标志之一

 

格式:

cut [选项]  参数


常用选项:

  • -f∶ 通过指定哪一个字段进行提取。cut命令使用"TAB"作为默认的字段分隔符。
  • -d∶ “TAB"是默认的分隔符,使用此选项可以更改为其他的分隔符。
  • - -complement∶ 此选项用于排除所指定的字段。
  • - -output-delimiter∶ 更改输出内容的分隔符。


d11.pngd12.png


5、eval命令


概述:

加上eval时,shell就会在执行命令之前扫描他2次,

eval命令将首先会先扫描命令行进行所有的置换,然后在执行该命令,

该命令适用于那些一次扫描无法实现其功能的变量,该命令对变量进行2次扫描

 

d13.pngd14.png


6、正则表达式


通常用于判断语句中,用来检查某一字符串是否满足某一格式

正则表达式是由普通字符与元字符组成:

  1. 普通字符包括大小写字母、数字、标点符号及一些其他符号。
  2. 元字符是指在正则表达式中具有特殊意义的专用字符,可以用来规定其前导字符( 即位于元字符前面的字符)在目标对象中的出现模式。


基础常见的元字符:(支持工具grep、egrep、sed、awk)


\ :转义字符,用于取消特殊符号的含义,例: \!、\n、\$等
^ :匹配字符串开始的位置,例: ^a、 ^the、 ^#、^[a-z]
$ :匹配字符串结束的位置,例: word$、 ^$匹配空行
. :匹配除\n之外的任意的一个字符,例: go.d、 g..d
* :匹配前面子表达式0次或者多次,例: goo*d、 go.*d
[list] :匹配list列表中的一个字符,例: go[ola]d, [abc]、 [a-z]、 [a-z0-9]、 [0-9]匹配任意一位数字
[^list] :匹配任意非list列表中的一个字符,例: [^0-9]、 [^A-20-9]、 [^a-z]匹配任意一位非小写字母
\{n\} :匹配前面的子表达式n次,例: go\{2\}d、 '[0-9]\{2\} '匹配两位数字
\{n,\} :匹配前而的子表达式不少于n次,例: go\{2, \}d、'[0-9]\{2, \}'匹配两位及两位以上数字
\{n,m\} :匹配前面的子表达式n到m次,例: go\{2,3\}d、 ' [0-9]\{2,3\}'匹配两位到三位数字



注: egrep、 awk使用{n}、{n,小、{n, m}匹配时“{}”前不用加“\”

 

 

 

 

 

扩展正则表达式元字符:(支持工具egrep、awk)

 

+ :匹配前面子表达式1次以上,例: do+g, 将匹配至少一个o, 如dog、 doog、 dooog等
? :匹配前面子表达式0次或者1次,例: do?g, 将匹配dg或dog
() :将括号中的字符串作为h一个整体,例1: d(oo)+g," 将匹配oo整体1次以上,如doog、doooog等
| :以或的方式匹配字条串,例: d (oo|)g," 将匹配doog或者doofuck123g或者dooooooog


d15.pngd16.pngd17.png

相关文章
|
3月前
|
存储 安全 Unix
七、Linux Shell 与脚本基础
别再一遍遍地敲重复的命令了,把它们写进Shell脚本,就能一键搞定。脚本本质上就是个存着一堆命令的文本文件,但要让它“活”起来,有几个关键点:文件开头最好用#!/usr/bin/env bash来指定解释器,并用chmod +x给它执行权限。执行时也有讲究:./script.sh是在一个新“房间”(子Shell)里跑,不影响你;而source script.sh是在当前“房间”里跑,适合用来加载环境变量和配置文件。
457 9
|
3月前
|
存储 Shell Linux
八、Linux Shell 脚本:变量与字符串
Shell脚本里的变量就像一个个贴着标签的“箱子”。装东西(赋值)时,=两边千万不能有空格。用单引号''装进去的东西会原封不动,用双引号""则会让里面的$变量先“变身”再装箱。默认箱子只能在当前“房间”(Shell进程)用,想让隔壁房间(子进程)也能看到,就得给箱子盖个export的“出口”戳。此外,Shell还自带了$?(上条命令的成绩单)和$1(别人递进来的第一个包裹)等许多特殊箱子,非常有用。
371 3
|
6月前
|
Shell
Shell脚本循环控制:shift、continue、break、exit指令
使用这些命令可以让你的Shell脚本像有生命一样动起来。正确使用它们,你的脚本就能像一场精心编排的舞蹈剧目,既有旋律的起伏,也有节奏的跳跃,最终以一场惊艳的表演结束。每一个动作、每一个转折点,都准确、优雅地完成所需要表达的逻辑。如此,你的脚本不只是冰冷的代码,它透过终端的界面,跳着有节奏的舞蹈,走进观众——使用者的心中。
291 60
|
3月前
|
数据采集 监控 Shell
无需Python:Shell脚本如何成为你的自动化爬虫引擎?
Shell脚本利用curl/wget发起请求,结合文本处理工具构建轻量级爬虫,支持并行加速、定时任务、增量抓取及分布式部署。通过随机UA、异常重试等优化提升稳定性,适用于日志监控、价格追踪等场景。相比Python,具备启动快、资源占用低的优势,适合嵌入式或老旧服务器环境,复杂任务可结合Python实现混合编程。
|
5月前
|
Web App开发 缓存 安全
Linux一键清理系统垃圾:释放30GB空间的Shell脚本实战​
这篇博客介绍了一个实用的Linux系统盘清理脚本,主要功能包括: 安全权限检查和旧内核清理,保留当前使用内核 7天以上日志文件清理和系统日志压缩 浏览器缓存(Chrome/Firefox)、APT缓存、临时文件清理 智能清理Snap旧版本和Docker无用数据 提供磁盘空间使用前后对比和大文件查找功能 脚本采用交互式设计确保安全性,适合定期维护开发环境、服务器和个人电脑。文章详细解析了脚本的关键功能代码,并给出了使用建议。完整脚本已开源,用户可根据需求自定义调整清理策略。
674 0
|
数据采集 Shell Linux
【Shell 命令集合 文档编辑】Linux 字符转换或删除 tr 命令使用指南
【Shell 命令集合 文档编辑】Linux 字符转换或删除 tr 命令使用指南
405 0
|
Shell Linux
Linux中常用的文本处理命令(echo、sort、uniq、tr、cut、split、eval)(上)
1、echo命令——输出 echo 命令主要用来显示字符串信息。
524 0
|
Linux Perl
Linux命令之tr
Linux命令之tr
275 2
|
Linux
Linux命令(79)之tr
Linux命令(79)之tr
421 1