Linux技术基础(2)——文本处理

简介: 文本处理实验:探索[Vim](https://developer.aliyun.com/adc/scenario/aced2264751f4866a8340de4cf9db0fa)的命令、输入和底线模式,学习文本编辑快捷操作,如光标移动、删除、复制和粘贴。了解如何使用底线命令模式进行文件保存、退出及搜索替换。同时,掌握`cat`、`more`、`less`、`head`、`tail`等文本查看命令,以及`stat`、`wc`、`file`、`diff`等文件处理命令。利用`grep`、`sed`、`awk`和`cut`进行文本搜索、替换和分析。

文本处理

实验地址:https://developer.aliyun.com/adc/scenario/aced2264751f4866a8340de4cf9db0fa

image.png

文本编辑工具Vim

vim的三种操作模式

vim有三种操作模式,分别是命令模式(Command mode)、输入模式(Insert mode)和底线命令模式(Last line mode)。

三种模式切换快捷键:

image.png

命令模式

在命令模式中控制光标移动和输入命令,可对文本进行复制、粘贴、删除和查找等工作。

使用命令vim filename后进入编辑器视图后,默认模式就是命令模式,此时敲击键盘字母会被识别为一个命令,例如在键盘上连续敲击两次d,就会删除光标所在行。

以下是在命令模式中常用的快捷操作:

操作 快捷键
光标左移 h
光标右移 l(小写L)
光标上移 k
光标下移 j
光标移动到下一个单词 w
光标移动到上一个单词 column2
移动游标到第n行 nG
移动游标到第一行 gg
移动游标到最后一行 G
快速回到上一次光标所在位置 Ctrl+o
删除当前字符 x
删除前一个字符 X
删除整行 dd
删除一个单词 dw或daw
删除至行尾 d$或D
删除至行首 d^
删除到文档末尾 dG
删除至文档首部 d1G
删除n行 ndd
删除n个连续字符 nx
将光标所在位置字母变成大写或小写 ~
复制游标所在的整行 yy(3yy表示复制3行)
粘贴至光标后(下) p
粘贴至光标前(上) P
剪切 dd
交换上下行 ddp
替换整行,即删除游标所在行并进入插入模式 cc
撤销一次或n次操作 u{n}
撤销当前行的所有修改 U
恢复撤销操作 Ctrl+r
整行将向右缩进 >>
整行将向左退回 <<
若档案没有更动,则不储存离开,若档案已经被更动过,则储存后离开 ZZ

输入模式

在命令模式下按i或a键就进入了输入模式,在输入模式下,您可以正常的使用键盘按键对文本进行插入和删除等操作。

底线命令模式

在命令模式下按 : 键就进入了底线命令模式,在底线命令模式中可以输入单个或多个字符的命令。

操作 命令
保存 :w
退出 :q
保存并退出 :wq(:wq!表示强制保存退出)
将文件另存为其他文件名 :w new_filename
显示行号 :set nu
取消行号 :set nonu
使本行内容居中 :ce
使本行文本靠右 :ri
使本行内容靠左 :le
向光标之下寻找一个名称为word的字符串 :/word
向光标之上寻找一个字符串名称为word的字符串 :?word
重复前一个搜寻的动作 :n
从第一行到最后一行寻找word1字符串,并将该字符串取代为word2 :1,$s/word1/word2/g或 :%s/word1/word2/g

使用示例

在本示例将使用vim在文本文件中写入一首唐诗。

新建一个文件并进入vim命令模式(因为涉及中文需要您自行点击右下角进行中英文切换)。

vim 静夜思.txt

image.png

image.png

按下 i 进入输入模式,输入《静夜思》的诗名。

image.png

按下ECS键回到命令模式,并输入底线命令 :ce ,使诗名居中。

image.png

按下 o 键换行并进入输入模式,输入第一行诗。

image.png

按下ECS键回到命令模式,并输入底线命令 :ce ,使第一行诗居中。

image.png

按下 o 键换行并进入输入模式,输入第二行诗,以此类推。。。

在命令模式中执行底线命令 :wq 离开vim。

image.png
image.png

文本文件查看命令

cat

命令描述:cat命令用于查看内容较少的纯文本文件。

命令格式:cat [选项] [文件]。

命令参数说明:

image.png

命令使用示例:

查看文件内容

cat 静夜思.txt

image.png

more

命令描述:more命令从前向后分页显示文件内容。

常用操作命令:

image.png

命令使用示例:

从第20行开始分页查看系统日志文件/var/log/messages

more +20 /var/log/messages

image.png

less

命令描述:less命令可以对文件或其它输出进行分页显示,与moe命令相似,但使用 less 可以随意浏览文件,而 more 仅能向前移动,却不能向后移动。

命令格式:less [参数] 文件 。

命令参数说明:

image.png

命令常用操作:

image.png

命令使用示例:

查看命令历史使用记录并通过less分页显示

history | less

image.png

head

命令描述:head命令用于查看文件开头指定行数的内容。

命令格式:head [参数] [文件]。

命令参数说明:

image.png

命令使用示例:

查看/etc/passwd文件的前5行内容

head -5 /etc/passwd

命令输出结果:

image.png

tail

命令描述:tail命令用于查看文档的后N行或持续刷新内容。

命令格式:tail [参数] [文件]。

命令参数说明:

image.png

命令使用示例:

查看/var/log/messages系统日志文件的最新10行,并保持实时刷新

tail -f -n 10 /var/log/messages

image.png

按ctrl+c键退出文本实时查看界面

stat

命令描述:用来显示文件的详细信息,包括inode、atime、mtime、ctime等。

命令使用示例:

查看/etc/passwd文件的详细信息。

stat /etc/passwd

命令输出结果:

image.png

wc

命令描述:wc命令用于统计指定文本的行数、字数、字节数。

命令格式:wc [参数] [文件]。

命令参数说明:

image.png

命令使用示例:

统计/etc/passwd文件的行数

wc -l /etc/passwd

命令输出结果:

image.png

file

命令描述: file命令用于辨识文件类型。

命令格式:file [参数] [文件]。

命令参数说明:

image.png

命令使用示例:

查看/var/log/messages文件的文件类型

file /var/log/messages

命令输出结果:

image.png

diff

命令描述:diff命令用于比较文件的差异。

命令使用示例:

构造两个相似的文件

echo -e '第一行\n第二行\n我是log1第3行\n第四行\n第五行\n第六行' > 1.log
echo -e '第一行\n第二行\n我是log2第3行\n第四行' > 2.log

分别查看两个文件

image.png

使用diff查看两个文件的差异

image.png

对比结果中的3c3表示两个文件在第3行有不同,5,6d4表示2.log文件相比1.log文件在第4行处开始少了1.log文件的第5和第6行。

文本文件处理命令

grep

命令描述:grep命令用于查找文件里符合条件的字符串。

grep全称是Global Regular Expression Print,表示全局正则表达式版本,它能使用正则表达式搜索文本,并把匹配的行打印出来。

在Shell脚本中,grep通过返回一个状态值来表示搜索的状态:

  • 0:匹配成功。

  • 1:匹配失败。

  • 2:搜索的文件不存在。

命令格式:grep [参数] [正则表达式] [文件]。

命令常用参数说明:

image.png

命令使用示例:

查看sshd服务配置文件中监听端口配置所在行编号

grep -n Port /etc/ssh/ssh_config

命令输出结果:

image.png

查询字符串在文本中出现的列数

grep -c localhost /etc/hosts

命令输出结果:

image.png

反向查找,不显示符合条件的行

ps -ef | grep sshd
ps -ef | grep -v grep | grep sshd

命令输出结果:

image.png

以递归的方式查找目录下含有关键字的文件

grep -r *.sh /etc

命令输出结果:

image.png

使用正则表达式匹配httpd配置文件中异常状态码响应的相关配置

grep 'ntp[0-9].aliyun.com' /etc/ntp.conf

命令输出结果:

image.png

sed

命令描述:sed是一种流编辑器,它是文本处理中非常中的工具,能够完美的配合正则表达式使用。

  1. 处理时,把当前处理的行存储在临时缓冲区中,称为模式空间(pattern space)。
  2. 接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。
  3. 接着处理下一行,这样不断重复,直到文件末尾。

注意:

  • sed命令不会修改原文件,例如删除命令只表示某些行不打印输出,而不是从原文件中删去。

  • 如果要改变源文件,需要使用-i选项。

命令格式:sed [参数] [动作] [文件]。

参数说明:

image.png

动作说明:

image.png

命令使用示例:

删除第3行到最后一行内容

sed '3,$d' /etc/passwd

命令输出结果:

image.png

在最后一行新增行

sed '$a admin:x:1000:1000:admin:/home/admin:/bin/bash' /etc/passwd

命令输出结果:

image.png

替换内容

sed 's/SELINUX=disabled/SELINUX=enforcing/' /etc/selinux/config

命令输出结果:

image.png

替换行

sed '1c abcdefg' /etc/passwd

命令输出结果:

image.png

awk

命令描述:和 sed 命令类似,awk 命令也是逐行扫描文件(从第 1 行到最后一行),寻找含有目标文本的行,如果匹配成功,则会在该行上执行用户想要的操作;反之,则不对行做任何处理。

命令格式:awk [参数] [脚本] [文件]。

参数说明:

image.png

内置变量:

image.png

awk中还可以指定脚本命令的运行时机。默认情况下,awk会从输入中读取一行文本,然后针对该行的数据执行程序脚本,但有时可能需要在处理数据前运行一些脚本命令,这就需要使用BEGIN关键字,BEGIN会在awsk读取数据前强制执行该关键字后指定的脚本命令。

和BEGIN关键字相对应,END关键字允许我们指定一些脚本命令,awk会在读完数据后执行它们。

命令使用示例:

查看本机IP地址

ifconfig eth0 |awk '/inet/{print $2}'

命令输出结果:

image.png

查看本机剩余磁盘容量

df -h |awk '/\/$/{print $4}'

命令输出结果:

image.png

统计系统用户个数

awk -F: '$3<1000{x++} END{print x}' /etc/passwd

命令输出结果:

image.png

输出其中登录Shell不以nologin结尾(对第7个字段做!~反向匹配)的用户名、登录Shell信息

awk -F: '$7!~/nologin$/{print $1,$7}' /etc/passwd

命令输出结果:

image.png

输出/etc/passwd文件中前三行记录的用户名和用户uid

head -3 /etc/passwd | awk  'BEGIN{FS=":";print "name\tuid"}{print $1,"\t"$3}END{print "sum lines "NR}'

命令输出结果:

image.png

查看tcp连接数

netstat -na | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'

命令输出结果:

image.png

关闭指定服务的所有的进程

ps -ef | grep httpd | awk {
   
   'print $2'} | xargs kill -9

cut

命令描述:cut命令主要用来切割字符串,可以对输入的数据进行切割然后输出。

命令格式:cut [参数] [文件]。

参数说明:

image.png

命令使用示例:

按字节进行切割

echo "hello world" | cut -b 1,3

echo "hello world" | cut -b 1-3

image.png


按字符进行切割

echo "hello world" | cut -c 2

image.png

按指定字符进行切割

echo "hello,world,ok" | cut -d , -f 1,3
echo "hello,world,ok" | cut -d , -f 2-3

image.png

tr

命令描述:tr命令用于对来自标准输入的字符进行替换、压缩和删除。

命令格式:tr [参数] [文本]。

参数说明:

image.png

命令使用示例:

将输入字符由大写转换为小写

echo "HELLO WORLD" | tr 'A-Z' 'a-z'

命令输出结果:

image.png

删除字符

echo "hello 123 world 456" | tr -d '0-9'

命令输出结果:

image.png

压缩字符

echo "thissss is      a text linnnnnnne." | tr -s ' sn'

命令输出结果:

image.png

产生随机密码

cat /dev/urandom | tr -dc a-zA-Z0-9 | head -c 13

命令输出结果:

image.png

相关文章
|
19小时前
|
Shell Linux C语言
|
12天前
|
存储 Unix Linux
探索Linux中的sed命令:强大的文本处理工具
`sed`是Linux/Unix的流编辑器,用于文本替换、删除、新增等操作,无需直接编辑文件。它逐行处理输入,存储在模式空间,执行脚本后输出。主要特点是非交互、支持正则表达式和简洁语法。示例:`sed &#39;s/apple/orange/g&#39; example.txt`替换文本,`/error/d`删除包含&quot;error&quot;的行,`a\---`在每行后加&quot;---&quot;。使用时注意备份、测试命令和理解正则表达式。
|
13天前
|
Ubuntu Linux vr&ar
IM跨平台技术学习(十二):万字长文详解QQ Linux端实时音视频背后的跨平台实践
本文详细记录了新版QQ音视频通话在 Linux 平台适配开发过程中的技术方案与实现细节,希望能帮助大家理解在 Linux 平台从 0 到 1 实现音视频通话能力的过程。
35 2
|
14天前
|
网络协议 Linux 分布式数据库
【Linux】DNS系统,ICMP协议,NAPT技术详解
NAPT(Network Address Port Translation),也被称为端口地址转换,是一种NAT(网络地址转换)的形式。NAPT允许多个设备在内部网络上使用私有IP地址,并通过单个公共IP地址与外部网络进行通信。NAPT通过改变传输层的端口号来实现这一点,从而允许多个内部设备共享同一个公共IP地址。
21 0
|
19天前
|
Unix Shell Linux
技术笔记:linux中SIGHUP与nohup的关系
技术笔记:linux中SIGHUP与nohup的关系
14 1
|
19天前
|
Unix 关系型数据库 Linux
技术笔记:linux学习心得
技术笔记:linux学习心得
13 0
|
20天前
|
机器学习/深度学习 Unix Java
技术笔记:Linux之Shell脚本编程(一)
技术笔记:Linux之Shell脚本编程(一)
24 0
|
20天前
|
监控 网络协议 Linux
技术好文共享::Linux系统日志管理日志转储
技术好文共享::Linux系统日志管理日志转储
15 0
|
20天前
|
网络协议 算法 Linux
技术笔记:Linux学习:TCP粘包问题
技术笔记:Linux学习:TCP粘包问题
17 0
|
20天前
|
网络协议 Linux Shell
技术笔记:Linux中的两种守护进程standalone和xinetd
技术笔记:Linux中的两种守护进程standalone和xinetd
20 0