文本处理
实验地址：https://developer.aliyun.com/adc/scenario/aced2264751f4866a8340de4cf9db0fa
文本编辑工具Vim
vim的三种操作模式
vim有三种操作模式，分别是命令模式（Command mode）、输入模式（Insert mode）和底线命令模式（Last line mode）。
三种模式切换快捷键：
命令模式
在命令模式中控制光标移动和输入命令，可对文本进行复制、粘贴、删除和查找等工作。
使用命令vim filename后进入编辑器视图后，默认模式就是命令模式，此时敲击键盘字母会被识别为一个命令，例如在键盘上连续敲击两次d，就会删除光标所在行。
以下是在命令模式中常用的快捷操作：
| 操作 | 快捷键 |
|---|---|
| 光标左移 | h |
| 光标右移 | l（小写L） |
| 光标上移 | k |
| 光标下移 | j |
| 光标移动到下一个单词 | w |
| 光标移动到上一个单词 | column2 |
| 移动游标到第n行 | nG |
| 移动游标到第一行 | gg |
| 移动游标到最后一行 | G |
| 快速回到上一次光标所在位置 | Ctrl+o |
| 删除当前字符 | x |
| 删除前一个字符 | X |
| 删除整行 | dd |
| 删除一个单词 | dw或daw |
| 删除至行尾 | d$或D |
| 删除至行首 | d^ |
| 删除到文档末尾 | dG |
| 删除至文档首部 | d1G |
| 删除n行 | ndd |
| 删除n个连续字符 | nx |
| 将光标所在位置字母变成大写或小写 | ~ |
| 复制游标所在的整行 | yy（3yy表示复制3行） |
| 粘贴至光标后（下） | p |
| 粘贴至光标前（上） | P |
| 剪切 | dd |
| 交换上下行 | ddp |
| 替换整行，即删除游标所在行并进入插入模式 | cc |
| 撤销一次或n次操作 | u{n} |
| 撤销当前行的所有修改 | U |
| 恢复撤销操作 | Ctrl+r |
| 整行将向右缩进 | >> |
| 整行将向左退回 | << |
| 若档案没有更动，则不储存离开，若档案已经被更动过，则储存后离开 | ZZ |
输入模式
在命令模式下按i或a键就进入了输入模式，在输入模式下，您可以正常的使用键盘按键对文本进行插入和删除等操作。
底线命令模式
在命令模式下按 : 键就进入了底线命令模式，在底线命令模式中可以输入单个或多个字符的命令。
| 操作 | 命令 |
|---|---|
| 保存 | :w |
| 退出 | :q |
| 保存并退出 | :wq（:wq!表示强制保存退出） |
| 将文件另存为其他文件名 | :w new_filename |
| 显示行号 | :set nu |
| 取消行号 | :set nonu |
| 使本行内容居中 | :ce |
| 使本行文本靠右 | :ri |
| 使本行内容靠左 | :le |
| 向光标之下寻找一个名称为word的字符串 | :/word |
| 向光标之上寻找一个字符串名称为word的字符串 | :?word |
| 重复前一个搜寻的动作 | :n |
| 从第一行到最后一行寻找word1字符串，并将该字符串取代为word2 | :1,$s/word1/word2/g或 :%s/word1/word2/g |
使用示例
在本示例将使用vim在文本文件中写入一首唐诗。
新建一个文件并进入vim命令模式（因为涉及中文需要您自行点击右下角进行中英文切换）。
vim 静夜思.txt
按下 i 进入输入模式，输入《静夜思》的诗名。
按下ECS键回到命令模式，并输入底线命令 :ce ，使诗名居中。
按下 o 键换行并进入输入模式，输入第一行诗。
按下ECS键回到命令模式，并输入底线命令 :ce ，使第一行诗居中。
按下 o 键换行并进入输入模式，输入第二行诗,以此类推。。。
在命令模式中执行底线命令 :wq 离开vim。
文本文件查看命令
cat
命令描述：cat命令用于查看内容较少的纯文本文件。
命令格式：cat [选项] [文件]。
命令参数说明：
命令使用示例：
查看文件内容
cat 静夜思.txt
more
命令描述：more命令从前向后分页显示文件内容。
常用操作命令：
命令使用示例：
从第20行开始分页查看系统日志文件/var/log/messages
more +20 /var/log/messages
less
命令描述：less命令可以对文件或其它输出进行分页显示，与moe命令相似，但使用 less 可以随意浏览文件，而 more 仅能向前移动，却不能向后移动。
命令格式：less [参数] 文件 。
命令参数说明：
命令常用操作：
命令使用示例：
查看命令历史使用记录并通过less分页显示
history | less
head
命令描述：head命令用于查看文件开头指定行数的内容。
命令格式：head [参数] [文件]。
命令参数说明：
命令使用示例：
查看/etc/passwd文件的前5行内容
head -5 /etc/passwd
命令输出结果：
tail
命令描述：tail命令用于查看文档的后N行或持续刷新内容。
命令格式：tail [参数] [文件]。
命令参数说明：
命令使用示例：
查看/var/log/messages系统日志文件的最新10行，并保持实时刷新
tail -f -n 10 /var/log/messages
按ctrl+c键退出文本实时查看界面
stat
命令描述：用来显示文件的详细信息，包括inode、atime、mtime、ctime等。
命令使用示例：
查看/etc/passwd文件的详细信息。
stat /etc/passwd
命令输出结果：
wc
命令描述：wc命令用于统计指定文本的行数、字数、字节数。
命令格式：wc [参数] [文件]。
命令参数说明：
命令使用示例：
统计/etc/passwd文件的行数
wc -l /etc/passwd
命令输出结果：
file
命令描述： file命令用于辨识文件类型。
命令格式：file [参数] [文件]。
命令参数说明：
命令使用示例：
查看/var/log/messages文件的文件类型
file /var/log/messages
命令输出结果：
diff
命令描述：diff命令用于比较文件的差异。
命令使用示例：
构造两个相似的文件
echo -e '第一行\n第二行\n我是log1第3行\n第四行\n第五行\n第六行' > 1.log
echo -e '第一行\n第二行\n我是log2第3行\n第四行' > 2.log
分别查看两个文件
使用diff查看两个文件的差异
对比结果中的3c3表示两个文件在第3行有不同，5,6d4表示2.log文件相比1.log文件在第4行处开始少了1.log文件的第5和第6行。
文本文件处理命令
grep
命令描述：grep命令用于查找文件里符合条件的字符串。
grep全称是Global Regular Expression Print，表示全局正则表达式版本，它能使用正则表达式搜索文本，并把匹配的行打印出来。
在Shell脚本中，grep通过返回一个状态值来表示搜索的状态：
0：匹配成功。
1：匹配失败。
2：搜索的文件不存在。
命令格式：grep [参数] [正则表达式] [文件]。
命令常用参数说明：
命令使用示例：
查看sshd服务配置文件中监听端口配置所在行编号
grep -n Port /etc/ssh/ssh_config
命令输出结果：
查询字符串在文本中出现的列数
grep -c localhost /etc/hosts
命令输出结果：
反向查找，不显示符合条件的行
ps -ef | grep sshd
ps -ef | grep -v grep | grep sshd
命令输出结果：
以递归的方式查找目录下含有关键字的文件
grep -r *.sh /etc
命令输出结果：
使用正则表达式匹配httpd配置文件中异常状态码响应的相关配置
grep 'ntp[0-9].aliyun.com' /etc/ntp.conf
命令输出结果：
sed
命令描述：sed是一种流编辑器，它是文本处理中非常中的工具，能够完美的配合正则表达式使用。
- 处理时，把当前处理的行存储在临时缓冲区中，称为模式空间（pattern space）。
- 接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。
- 接着处理下一行，这样不断重复，直到文件末尾。
注意：
sed命令不会修改原文件，例如删除命令只表示某些行不打印输出，而不是从原文件中删去。
如果要改变源文件，需要使用-i选项。
命令格式：sed [参数] [动作] [文件]。
参数说明：
动作说明：
命令使用示例：
删除第3行到最后一行内容
sed '3,$d' /etc/passwd
命令输出结果：
在最后一行新增行
sed '$a admin:x:1000:1000:admin:/home/admin:/bin/bash' /etc/passwd
命令输出结果：
替换内容
sed 's/SELINUX=disabled/SELINUX=enforcing/' /etc/selinux/config
命令输出结果：
替换行
sed '1c abcdefg' /etc/passwd
命令输出结果：
awk
命令描述：和 sed 命令类似，awk 命令也是逐行扫描文件（从第 1 行到最后一行），寻找含有目标文本的行，如果匹配成功，则会在该行上执行用户想要的操作；反之，则不对行做任何处理。
命令格式：awk [参数] [脚本] [文件]。
参数说明：
内置变量：
awk中还可以指定脚本命令的运行时机。默认情况下，awk会从输入中读取一行文本，然后针对该行的数据执行程序脚本，但有时可能需要在处理数据前运行一些脚本命令，这就需要使用BEGIN关键字，BEGIN会在awsk读取数据前强制执行该关键字后指定的脚本命令。
和BEGIN关键字相对应，END关键字允许我们指定一些脚本命令，awk会在读完数据后执行它们。
命令使用示例：
查看本机IP地址
ifconfig eth0 |awk '/inet/{print $2}'
命令输出结果：
查看本机剩余磁盘容量
df -h |awk '/\/$/{print $4}'
命令输出结果：
统计系统用户个数
awk -F: '$3<1000{x++} END{print x}' /etc/passwd
命令输出结果：
输出其中登录Shell不以nologin结尾（对第7个字段做!~反向匹配）的用户名、登录Shell信息
awk -F: '$7!~/nologin$/{print $1,$7}' /etc/passwd
命令输出结果：
输出/etc/passwd文件中前三行记录的用户名和用户uid
head -3 /etc/passwd | awk 'BEGIN{FS=":";print "name\tuid"}{print $1,"\t"$3}END{print "sum lines "NR}'
命令输出结果：
查看tcp连接数
netstat -na | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
命令输出结果：
关闭指定服务的所有的进程
ps -ef | grep httpd | awk {
'print $2'} | xargs kill -9
cut
命令描述：cut命令主要用来切割字符串，可以对输入的数据进行切割然后输出。
命令格式：cut [参数] [文件]。
参数说明：
命令使用示例：
按字节进行切割
echo "hello world" | cut -b 1,3
echo "hello world" | cut -b 1-3
按字符进行切割
echo "hello world" | cut -c 2
按指定字符进行切割
echo "hello,world,ok" | cut -d , -f 1,3
echo "hello,world,ok" | cut -d , -f 2-3
tr
命令描述：tr命令用于对来自标准输入的字符进行替换、压缩和删除。
命令格式：tr [参数] [文本]。
参数说明：
命令使用示例：
将输入字符由大写转换为小写
echo "HELLO WORLD" | tr 'A-Z' 'a-z'
命令输出结果：
删除字符
echo "hello 123 world 456" | tr -d '0-9'
命令输出结果：
压缩字符
echo "thissss is a text linnnnnnne." | tr -s ' sn'
命令输出结果：
产生随机密码
cat /dev/urandom | tr -dc a-zA-Z0-9 | head -c 13
命令输出结果：
