Linux中常用的文本处理命令(echo、sort、uniq、tr、cut、split、eval)(上)

本文涉及的产品
转发路由器TR,750小时连接 100GB跨地域
简介: 1、echo命令——输出echo 命令主要用来显示字符串信息。

1、echo命令——输出

echo 命令主要用来显示字符串信息。

语法格式:

echo 【选项] 字符串
复制代码


常用选项:

echo -n   表示不换行输出
 echo -e   表示输出转义符(字符串必须加引号,转义符才生效)
复制代码


常用的转义符(转义符需结合-e同时使用,且字符串必须加引号):

选项 作用
\n 插入换行符,输出换行
\r 光标移至行首,并且不换行
\s 当前shell的名称,如bash
\t 插入Tab键(即制表符)
\f 换行,但光标仍停留在原处
\ \ 表示插入\本身
\b 插入退格键,表示退格,不显示前一个字符
\c 抑制更多的输出或不换行


关于换行符的小贴士:

echo -n
 echo -e  "XXXXXX\c"
 #除了以上两种方式输出的内容结尾不会携带换行符,echo其它输出方法都会默认携带一个换行符\n
复制代码


示例:

[root@yuji ~]# echo "helloworld"
 helloworld
 [root@yuji ~]# echo -e "hello\nworld"      //插入换行符,即输出换行
 hello
 world
 [root@yuji ~]# echo -e "hello\tworld"       //插入制表符
 hello   world
 [root@yuji ~]# echo -e "hello\bworld"       //退格一次
 hellworld
 [root@yuji ~]# echo -e "hello\b\bworld"     //退格两次
 helworld 
 [root@yuji ~]# echo -e "hello\world"        //插入\本身
 hello\world
 [root@yuji ~]# echo -n "helloworld"      //内容结尾不会携带换行符
 helloworld[root@yuji ~]#
 [root@yuji ~]# echo -e "helloworld\c"    //内容结尾不会携带换行符
 helloworld[root@yuji ~]#
复制代码


网络异常,图片无法展示
|


网络异常,图片无法展示
|


2、sort命令——排序

sort将文件的每一行作为一个单位相互比较,比较原则是从首字符向后依次按ASCII码进行比较,最后将它们按升序输出。(以行为单位来排序输出)

语法格式:

sort [选项]  参数
 cat file | sort 选项
复制代码


常用选项:

常用选项 作用
-n 按照数字进行排序(默认升序)
-r 反向排序(倒序)
-u 等同于uniq,表示相同的数据仅显示一行
-t 指定字段分隔符,默认使用Tab键分隔
-k 指定排序字段(不指定则默认第一个字段)
-f 忽略大小写,会将小写字母都转换为大写字母来进行比较
-b 忽略每行前面的空格
-o <输出文件> 将排序后的结果转存到指定文件中


示例:

先准备一个文件,每行随意填写数字。

[root@yuji ~]# cat 1.txt
 1
 3
 100
 2
 19
 19
 400
 200
 78
 3333
 78
复制代码


网络异常,图片无法展示
|


1)不加任何选项,则默认按首字母排序。

[root@yuji ~]# sort 1.txt
 1
 100
 19
 19
 2
 200
 3
 3333
 400
 78
 78
复制代码


网络异常,图片无法展示
|


2)-n,按照数字排序(默认升序)。

[root@yuji ~]# sort -n 1.txt
 1
 2
 3
 19
 19
 78
 78
 100
 200
 400
 3333
复制代码


网络异常,图片无法展示
|


3)-r,倒序。默认是升序排列,加-r后是降序排列。

[root@yuji ~]# sort -n -r 1.txt   //按数字降序排列
 3333
 400
 200
 100
 78
 78
 19
 19
 3
 2
 1
复制代码


网络异常,图片无法展示
|


4)-u,合并重复行,相同数据只显示一行。

[root@yuji ~]# sort -nru 1.txt
 3333
 400
 200
 100
 78
 19
 3
 2
 1
复制代码


网络异常,图片无法展示
|


5)-t,指定分隔符。-k,指定对第几个字段进行排序。

[root@yuji ~]# sort -t ":" -k 3 -n /etc/passwd
 root:x:0:0:root:/root:/bin/bash
 bin:x:1:1:bin:/bin:/sbin/nologin
 daemon:x:2:2:daemon:/sbin:/sbin/nologin
 adm:x:3:4:adm:/var/adm:/sbin/nologin
 lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
 sync:x:5:0:sync:/sbin:/bin/sync
 shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
 halt:x:7:0:halt:/sbin:/sbin/halt
 mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
 operator:x:11:0:operator:/root:/sbin/nologin
 games:x:12:100:games:/usr/games:/sbin/nologin
 ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
 ......
复制代码


网络异常,图片无法展示
|


6)-o <输出文件>,将排序后的结果转存到指定文件中。

查看/data目录下所有子目录和文件占磁盘空间的大小(即查看目录的磁盘使用情况),按从大到小排序,之后将结果存入/du.txt文件中。

[root@yuji data]# du -a | sort -nr    //查看所有子目录和子文件占磁盘空间的大小
 32      .
 4       ./up_ip
 4       ./test/passwd
 4       ./test
 4       ./maopao1.sh
 4       ./ips.txt
 4       ./host_ip
 4       ./hostip
 4       ./hello.sh
 4       ./down_ip
 0       ./test/f1.txt
 [root@yuji data]# du -a | sort -nr -o /du.txt    //将排序后的结果存入/du.txt文件中
 [root@yuji data]# cat /du.txt
 32      .
 4       ./up_ip
 4       ./test/passwd
 4       ./test
 4       ./maopao1.sh
 4       ./ips.txt
 4       ./host_ip
 4       ./hostip
 4       ./hello.sh
 4       ./down_ip
 0       ./test/f1.txt
复制代码


网络异常,图片无法展示
|


3、uniq命令——去重

uniq命令用于报告或者忽略文件中连续的重复行,常与sort命令结合使用。

语法格式:

uniq [选项] 参数
 cat file | uniq 选项
复制代码


常用选项:

常用选项 作用
-c 统计连续重复的行的次数,并且合并重复的行
-u 显示仅出现一次的行(包括不连续的重复行)
-d 仅显示重复出现的行(必须是连续的重复行)


示例:

1)uniq不加选项,只会对连续的重复行进行去重。

[root@yuji ~]# cat 2.txt
 1
 2
 33
 33
 33
 444
 444
 1
 33
 2
 444
 [root@yuji ~]# uniq 2.txt
 1
 2
 33
 444
 1
 33
 2
 444
复制代码


网络异常,图片无法展示
|


2)uniq -c,显示连续重复行出现的次数,并合并重复行。

[root@yuji ~]# uniq -c 2.txt
       1 1
       1 2
       3 33
       2 444
       1 1
       1 33
       1 2
       1 444
复制代码


网络异常,图片无法展示
|


3)uniq -c,与sort命令结合,统计相同行重复出现的次数,包括不连续的重复行。

[root@yuji ~]# sort -n 2.txt |uniq -c
       2 1
       2 2
       4 33
       3 444
复制代码


网络异常,图片无法展示
|


4)uniq -u,显示仅出现过一次的行(但包括不连续的重复行)。

[root@yuji ~]# cat 3.txt
 1
 2
 5
 6
 33
 33
 33
 444
 444
 1
 33
 2
 444
 [root@yuji ~]# uniq -u 3.txt
 1
 2
 5
 6
 1
 33
 2
 444
复制代码


网络异常,图片无法展示
|


5)uniq -u,与sort命令结合,显示真正仅出现过一次的行。

sort -n 将原文档中不连续的重复行,连续排列在了一起,使uniq -u 可以显示真正仅出现过一次的行。

[root@yuji ~]# cat 3.txt| sort -n | uniq -u
 5
 6
复制代码


网络异常,图片无法展示
|


4、tr命令——删除、替换、压缩

tr命令常用来对来自标准输入的字符进行替换、压缩和删除。

命令格式:

cat file | tr [选项]  参数
复制代码


常用选项:

选项 作用
-c 保留字符集1的字符,其他字符包括换行符\n用字符集2替换
-d 删除所有属于字符集1的字符
-s 将连续重复的字符串压缩成一个
-t 字符集2 替换 字符集1,不加选项效果相同


常用参数

参数 说明
字符集1 指定要转换或删除的原字符集。当执行转换操作时,必须使用参数“字符集2”指定转换的目标字符集。但执行删除操作时,不需要参数“字符集2”
字符集2 指定要转换成的目标字符集


相关文章
|
2月前
|
存储 Linux
linux echo 写入文件
通过这些技巧和示例,你可以灵活运用 `echo`命令,无论是进行简单的文本输出还是复杂的文件操作,都能在Linux环境中游刃有余。
86 1
|
3月前
|
机器学习/深度学习 Linux Perl
Linux文本处理三剑客之sed详解
这篇博客详细讲解了Linux中的文本处理工具sed的使用方法和常用命令。
232 9
Linux文本处理三剑客之sed详解
|
4月前
|
Linux PHP
Linux CentOS 宝塔 Suhosin禁用php5.6版本eval函数详细图文教程
【8月更文挑战第27天】本文介绍两种禁用PHP执行的方法:使用`PHP_diseval_extension`禁用和通过`suhosin`禁用。由于`suhosin`不支持PHP8,仅适用于PHP7及以下版本,若服务器安装了PHP5.6,则需对应安装`suhosin-0.9.38`版本。文章提供了详细的安装步骤,并强调了宝塔环境下与普通环境下的PHP路径差异。安装完成后,在`php.ini`中添加`suhosin.so`扩展并设置`executor.disable_eval = on`以禁用执行功能。最后通过测试代码验证是否成功禁用,并重启`php-fpm`服务生效。
57 2
|
4月前
|
Linux BI 数据处理
在Linux中,如何使用awk和sed进行文本处理?
在Linux中,如何使用awk和sed进行文本处理?
|
5月前
|
Shell Linux C语言
|
6月前
|
数据挖掘 Unix Linux
探索Linux中的强大文本处理工具——dgawk
dgawk,GNU awk的增强版,是一款强大的Linux文本处理工具,擅长模式扫描和数据提取。它提供复杂文本分析、易用性、可定制脚本及高效处理大文件的能力。基本语法为`dgawk &#39;pattern { action }&#39; file`。通过打印、模式匹配、字段操作、BEGIN/END块及自定义函数等功能,用户能高效处理文本数据。掌握dgawk能提升文本分析效率,对系统管理员和数据分析师尤其有用。
|
5月前
|
存储 Unix Linux
探索Linux中的sed命令:强大的文本处理工具
`sed`是Linux/Unix的流编辑器,用于文本替换、删除、新增等操作,无需直接编辑文件。它逐行处理输入,存储在模式空间,执行脚本后输出。主要特点是非交互、支持正则表达式和简洁语法。示例:`sed &#39;s/apple/orange/g&#39; example.txt`替换文本,`/error/d`删除包含&quot;error&quot;的行,`a\---`在每行后加&quot;---&quot;。使用时注意备份、测试命令和理解正则表达式。
|
5月前
|
Shell Linux
Linux环境变量之shell中export定义全局变量和echo 变量的区别
Linux环境变量之shell中export定义全局变量和echo 变量的区别
|
7月前
|
Linux Perl
Linux系统的文本处理
Linux系统的文本处理
常用文本内容命令(tr cut sort uniq)
常用文本内容命令(tr cut sort uniq)