⭐⭐⭐【Shell 命令集合 文档编辑 】Linux 文件内容处理 sed命令使用指南

简介: ⭐⭐⭐【Shell 命令集合 文档编辑 】Linux 文件内容处理 sed命令使用指南

描述


sed(Stream Editor)是一种流编辑器,用于对文本进行处理和转换。它通过逐行读取输入文本,并根据所提供的编辑指令对文本进行修改。下面是sed命令的一些常见用途和作用:

  1. 替换文本:sed命令可以用来替换文本中的指定字符串。可以指定要替换的字符串和替换后的字符串,并通过编辑指令将其应用于文本的每一行。
  2. 删除行:使用sed命令可以删除文本中的指定行。可以指定要删除的行数或使用正则表达式匹配要删除的行,并使用删除指令将其从文本中删除。
  3. 插入和追加文本:sed命令可以在文本的指定位置插入新的文本行。可以指定要插入的行数或使用正则表达式匹配要插入的位置,并使用插入指令将新行添加到文本中。
  4. 打印文本:sed命令可以用于打印文本的指定行或整个文本。可以指定要打印的行数或使用正则表达式匹配要打印的行,并使用打印指令将其输出到标准输出。
  5. 转换文本格式:sed命令可以用于转换文本的格式。例如,可以使用替换指令将制表符替换为空格,或者使用正则表达式匹配和修改文本中的特定模式。
  6. 文件编辑:sed命令可以直接在文件中进行编辑,而无需将其读入内存。可以使用编辑指令对文件进行修改,并将结果保存回原始文件或另存为新文件。

总之,sed命令是一个功能强大的文本处理工具,可以用于替换、删除、插入、打印和转换文本,以及在文件中进行编辑。它是Linux系统中常用的命令之一,可以通过简单的编辑指令实现复杂的文本处理任务。

语法格式

sed [options] [script] [inputfile]
sed [options] 'command' file(s)
sed [options] -f scriptfile file(s) 
  • 正则表达式通配符

^ 表示一行的开头。如:/^#/ 以#开头的匹配。

表示一行的结尾。如:/}表示一行的结尾。如:/} 表示一行的结尾。如:/}/ 以}结尾的匹配。

\< 表示词首。 如:\

\> 表示词尾。 如:abc\> 表示以 abc 結尾的詞。

. 表示任何单个字符。

* 表示某个字符出现了0次或多次。

[ ] 字符集合。 如:[abc] 表示匹配a或b或c,还有 [a-zA-Z] 表示匹配所有的26个字符。如果其中有^表示反,如 [^a] 表示非a的字符

#  ^符号表示开头
#  .*符号表示通配任意字符
## 行内包含“SVNAME”参数,则将整行替换
sed -i 's/^.*'$SVNAME'.*$/'$NEWNAME'/' $FILEPATH

参数说明

|a\|在当前行后添加一行或多行|

| ----- | ----- |

|c\|用新文本替换当前行中的文本|

|d|删除行|

|i\|在当前行之前插入文本|

|h|把模式空间的内容复制到暂存缓冲区|

|H|把模式空间的内容添加到缓冲区|

|g|取出暂存缓冲区的内容,将其复制到模式缓冲区|

|G|取出暂存缓冲区的内容,将其追加到模式缓冲区|

|l|列出非打印字符|

|p|打印行|

|n|读入下一行输入,并从下一条而不是第一条命令对其处理|

|q|结束或退出sed|

|r|从文件中读取输入行|

|!|对所选行以外的行应用所有命令|

|s|用一个字符串替换另外一个字符串|

  • 替换标志:
g 在行内进行全局替换
p 打印行
w 将行写入文件
x 交换暂存缓冲区和模式空间的内容
y 将字符转换成另外一个字符
  • 打印:p命令
sed ‘/abc/p’ file 打印file中包含abc的行。默认情况sed把所有行都打印到屏幕,如果某行匹配到模式,则把该行另外再打印一遍
sed -n ‘/abc/p’ file 和上面一样,只是去掉了sed的默认行为,只会打印匹配的行
  • 删除:d命令
sed ‘3,$d’ file 删除从第3行到最后一行的内容。
sed ‘$d’ file 删除最后一行的内容
sed ‘/abc/d’ 删除包含abc的行。
sed ‘3d’ file 删除第三行的内容
  • 替换:s命令
sed ‘s/abc/def/g’ file 把行内的所有abc替换成def,如果没有g,则只替换行内的第一个abc
sed -n ‘s/abc/def/p’ file 只打印发生替换的那些行
sed ‘s/abc/&def/’ file 在所有的abc后面添加def(&表示匹配的内容)
sed -n ‘s/abc/def/gp’ file 把所有的abc替换成def,并打印发生替换的那些行
sed ‘s#abc#def#g’ file 把所有的abc替换成def,跟在替换s后面的字符就是查找串和替换串之间的分割字符,
本例中用#分割
  • 指定行的范围:逗号
sed -n ‘/abc/,/def/p’ file 打印模式abc到def的行
sed -n ‘5/,/def/p’ file 打印从第五行到包含def行之间的行。
sed /abd/,/def/s/aaa/bbb/g 修改从模式abc到模式def之间的行,把aaa替换成def
  • 多重编辑-e
sed -e ‘1,3d’ -e ‘s/abc/def/g’ file 删除1-3行,然后把其余行的abc替换成def
  • 读文件:r命令
sed ‘/abc/r newfile’ file 在包含abc的行后读入newfile的内容
  • 写文件:w命令
sed ‘/abc/w newfile’ file 在包含abc的行写入newfile
  • 追加:a命令
sed ‘/abc/a\def’ file 在包含abc的行后新起一行,写入def
  • 插入:i命令
sed ‘/abc/i\def’ file 在包含abc的行前新起一行,写入def
  • 修改:c命令
sed ‘/abc/c\def’ file 在包含abc的行替换成def,旧文本被覆盖
  • 读取下一行:n命令
sed ‘/abc/{n ; s/aaa/bbb/g;}’ file 读取包含abc的行的下一行,替换aaa为bbb
  • 转换:y命令
sed ‘y/abc/ABC’ file 将a替换成A,b替换成B,c替换成C(正则表达式元字符不起作用)
  • 退出:q命令
sed ‘/abc/{ s/aaa/bbb/ ;q; }’ file 在某行包含了abc,把aaa替换成bbb,然后退出sed。

暂存和取用:h命令(把模式行存储到暂存缓冲区)和g(取出暂存缓冲区的行并覆盖模式缓冲区)G(取出临时缓冲区的行)命令

h和g是复制行为(覆盖),H和G表示追加。

sed -e ‘/abc/h’ -e ‘$G’ file 包含abc的行通过h命令保存到暂存缓冲区,
在第二条命令汇中,sed读到最后一行$时,G命令从暂存缓冲区中读取一行,
追加到模式缓冲区的后面。即所有包含abc的行的最后一行被复制到文件末尾。
s****ed -e ‘/abc/{h; d;}’ -e ‘/def/{g; }’ file 包含abc的行会移到包含def的行上,并进行覆盖。
#!/bin/bash
#删除:d命令 
sed '2d' example#-----删除example文件的第二行。
sed '2,$d' example#-----删除example文件的第二行到末尾所有行。
sed '$d' example#-----删除example文件的最后一行。
sed '/test/'d example#-----删除example文件所有包含test的行。
#替换:s命令 
sed 's/test/mytest/g' example
#在整行范围内把test替换为mytest。如果没有g标记,则只有每行第一个匹配的test被替换成mytest。
sed -n 's/^test/mytest/p' example
#(-n)选项和p标志一起使用表示只打印那些发生替换的行。也就是说,如果某一行开头的test被替换成mytest,就打印它。
sed 's/^192.168.0.1/&localhost/' example
#&符号表示替换换字符串中被找到的部份。所有以192.168.0.1开头的行都会被替换成它自已加 localhost,变成192.168.0.1localhost。
sed -n 's//(love/)able//1rs/p' example
#love被标记为1,所有loveable会被替换成lovers,而且替换的行会被打印出来。
sed 's#10#100#g' example
#不论什么字符,紧跟着s命令的都被认为是新的分隔符,所以,“#”在这里是分隔符,代替了默认的“/”分隔符。表示把所有10替换成100。
#选定行的范围:逗号 
sed -n '/test/,/check/p' example
#所有在模板test和check所确定的范围内的行都被打印。
sed -n '5,/^test/p' example
#打印从第五行开始到第一个包含以test开始的行之间的所有行。
sed '/test/,/check/s/$/sed test/' example
#对于模板test和west之间的行,每行的末尾用字符串sed test替换。
#多点编辑:e命令 
$ sed -e '1,5d' -e 's/test/check/' example
#(-e)选项允许在同一行里执行多条命令。如例子所示,第一条命令删除1至5行,第二条命令用check替换test。命令的执 行顺序对结果有影响。如果两个命令都是替换命令,那么第一个替换命令将影响第二个替换命令的结果。
$ sed --expression='s/test/check/' --expression='/love/d' example
#一个比-e更好的命令是--expression。它能给sed表达式赋值。
#从文件读入:r命令 
sed '/test/r file' example
#file里的内容被读进来,显示在与test匹配的行后面,如果匹配多行,则file的内容将显示在所有匹配行的下面。
#写入文件:w命令 
sed -n '/test/w file' example
#在example中所有包含test的行都被写入file里。
#追加命令:a命令 
sed '/^test/a//--->this is a example' example<-----'this is a example'
#被追加到以test开头的行后面,sed要求命令a后面有一个反斜杠。
#插入:i命令 
sed '/test/i//
new line
-------------------------' example
#如果test被匹配,则把反斜杠后面的文本插入到匹配行的前面
#下一个:n命令 
sed '/test/{ n; s/aa/bb/; }' example
#如果test被匹配,则移动到匹配行的下一行,替换这一行的aa,变为bb,并打印该行,然后继续。
#变形:y命令 
sed '1,10y/abcde/ABCDE/' example
#把1--10行内所有abcde转变为大写,注意,正则表达式元字符不能使用这个命令。
#退出:q命令 
sed '10q' example
#打印完第10行后,退出sed。
#保持和互换:h命令和x命令 
sed -e '/test/h' -e '/check/x' example 
#互换模式空间和保持缓冲区的内容。也就是把包含test与check的行互换。
sed /^$/d filename
#可以删除文件中的空行。
sed /^[[:space:]]*$/d filename
#可以删除内容为多个空格/tab组成的行

错误情况

  • 如果没有提供输入文件,则sed命令将从标准输入读取输入。
  • 如果指定的文件不存在,则会出现错误。
  • 如果提供的sed脚本中存在语法错误或无效的命令,则会导致sed命令执行失败。

请注意,这里只是简要介绍了sed命令的一些常见参数和错误情况,实际使用时还需要根据具体需求和场景来选择适当的参数和处理方式。

注意事项

在使用Linux shell中的sed命令时,有一些注意事项需要注意:

  1. 正则表达式的使用:sed命令中经常使用正则表达式进行模式匹配和替换。在编写正则表达式时,需要注意特殊字符的转义,如使用\来转义特殊字符。另外,使用正则表达式时应注意匹配的范围和规则,以确保正确匹配和替换目标文本。
  2. 备份原始文件:当使用-i选项直接在文件中进行编辑时,建议在执行sed命令之前备份原始文件。这样可以避免意外的修改导致数据丢失或错误。
  3. 处理特殊字符:如果要处理包含特殊字符的文本,如斜杠(/)、引号(")等,需要进行适当的转义或引用。例如,可以使用\来转义特殊字符,或者使用单引号(')将命令包裹起来,以避免特殊字符被shell解释。
  4. 多行处理:默认情况下,sed命令是逐行处理输入文本的。如果需要在多行文本中进行操作,需要使用特定的命令或选项。例如,可以使用N命令将多行文本合并为一行,然后进行处理。
  5. 指定行范围:如果需要对特定行范围内的文本进行操作,可以使用行号或正则表达式来指定范围。可以使用行号范围(如1,5表示第1行到第5行),或者使用正则表达式匹配范围(如/pattern1/,/pattern2/表示从匹配pattern1的行到匹配pattern2的行)。
  6. 注意空格和空行:sed命令默认会忽略空行,不会进行处理。如果需要处理空行,可以使用特定的命令或选项。另外,sed命令对空格的处理也需要注意,如在替换操作中可能需要使用\s来匹配空格。
  7. 脚本复杂性:当使用复杂的sed脚本时,需要仔细检查每个命令和操作的顺序和逻辑。sed命令是按照脚本中的顺序依次执行的,因此命令的顺序和操作的逻辑可能会影响结果。

总之,在使用sed命令时,需要注意正则表达式的使用、备份原始文件、处理特殊字符、多行处理、指定行范围、空格和空行的处理,以及脚本的复杂性。遵循这些注意事项可以帮助确保sed命令的正确使用和预期的结果。

底层实现

Linux shell中的sed命令底层实现主要依赖于GNU sed工具,它是基于流编辑器(stream editor)的原理。

sed命令的底层实现基于一种称为"编辑脚本"(script)的机制。编辑脚本是由一系列的编辑命令组成,每个命令都指定了对输入文本的操作。当sed命令执行时,它会按照编辑脚本中的命令顺序逐行处理输入文本。

sed命令的底层实现包括以下几个步骤:

  1. 读取输入文本:sed命令首先会从输入源(如文件或标准输入)读取输入文本,逐行进行处理。
  2. 匹配和操作:对于每一行输入文本,sed命令会依次对编辑脚本中的每个命令进行匹配和操作。匹配是根据命令中指定的正则表达式进行的,如果匹配成功,则执行对应的操作。
  3. 执行操作:根据匹配结果,sed命令会执行相应的操作,如替换、删除、插入、打印等。操作可以修改当前行或输出结果。
  4. 输出结果:根据操作的结果,sed命令可以将修改后的文本输出到标准输出或指定的输出文件中。

在底层实现中,sed命令通常使用缓冲区(buffer)来存储输入文本和处理结果。输入文本逐行读取到缓冲区中,然后根据编辑脚本中的命令对缓冲区中的文本进行操作,并将处理结果存储在另一个缓冲区中。当处理完所有行后,sed命令将最终的处理结果输出到标准输出或指定的输出文件中。

需要注意的是,底层实现可能会对性能进行优化,如使用缓冲区和流处理来提高处理效率。此外,不同的sed实现可能会有细微的差异,但基本原理和操作方式大致相同。

总之,Linux shell中的sed命令底层实现依赖于编辑脚本的机制,通过逐行读取输入文本,并根据编辑脚本中的命令进行匹配和操作,最终输出处理结果。

示例

示例一

sed命令用于替换文本中的指定字符串。

$ echo "Hello World" | sed 's/World/Universe/'
Output: Hello Universe

示例二

sed命令可以删除文本中的指定行。

$ cat file.txt
Line 1
Line 2
Line 3
$ sed '2d' file.txt
Output:
Line 1
Line 3

示例三

sed命令可以在文本的指定位置插入新的文本行。

$ cat file.txt
Line 1
Line 3
$ sed '2i Line 2' file.txt
Output:
Line 1
Line 2
Line 3

示例四

sed命令可以打印文本的指定行或整个文本。

$ cat file.txt
Line 1
Line 2
Line 3
$ sed -n '2p' file.txt
Output: Line 2

示例五

sed命令可以转换文本的格式。

$ echo "Hello    World" | sed 's/\t/ /g'
Output: Hello World

示例六

sed命令可以在文件中进行编辑。

$ cat file.txt
Line 1
Line 2
Line 3
$ sed -i 's/Line/Text/' file.txt
$ cat file.txt
Output:
Text 1
Text 2
Text 3

示例七

sed命令可以使用正则表达式匹配和修改文本中的特定模式。

$ cat file.txt
Hello World
$ sed 's/[aeiou]/_/g' file.txt
Output: H_ll_ W_rld

用c语言实现


下面是一个用C语言实现简化版sed命令的示例代码,其中包含了注释解释每个步骤的功能:

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <regex.h>
#define MAX_LINE_LENGTH 1024
int main(int argc, char *argv[]) {
    // 检查参数数量
    if (argc != 3) {
        printf("Usage: ./sed <pattern> <replacement>\n");
        return 1;
    }
    char *pattern = argv[1]; // 要匹配的模式
    char *replacement = argv[2]; // 替换的字符串
    char line[MAX_LINE_LENGTH]; // 存储每行文本的缓冲区
    // 编译正则表达式
    regex_t regex;
    int ret = regcomp(&regex, pattern, REG_EXTENDED);
    if (ret != 0) {
        printf("Failed to compile regex pattern\n");
        return 1;
    }
    // 逐行读取输入文本
    while (fgets(line, MAX_LINE_LENGTH, stdin) != NULL) {
        line[strcspn(line, "\n")] = '\0'; // 去掉行尾的换行符
        // 进行正则表达式匹配
        ret = regexec(&regex, line, 0, NULL, 0);
        if (ret == 0) {
            char *result = malloc(MAX_LINE_LENGTH); // 存储替换后的结果
            // 替换匹配到的字符串
            regsub(pattern, replacement, line, result);
            printf("%s\n", result); // 输出替换后的结果
            free(result);
        } else if (ret == REG_NOMATCH) {
            printf("%s\n", line); // 输出未匹配的行
        } else {
            printf("Failed to execute regex\n");
            return 1;
        }
    }
    // 释放正则表达式资源
    regfree(&regex);
    return 0;
}
// 替换字符串的函数
void regsub(const char *pattern, const char *replacement, const char *source, char *result) {
    const char *src = source;
    char *res = result;
    size_t patternLen = strlen(pattern);
    size_t replacementLen = strlen(replacement);
    while (*src) {
        if (strncmp(src, pattern, patternLen) == 0) {
            // 匹配到了模式,进行替换
            strncpy(res, replacement, replacementLen);
            src += patternLen;
            res += replacementLen;
        } else {
            // 没有匹配到模式,直接复制字符
            *res++ = *src++;
        }
    }
    *res = '\0';
}

这个示例代码使用了正则表达式库regex.h来进行模式匹配,通过逐行读取输入文本,对每一行进行正则表达式匹配,并根据匹配结果进行相应的替换操作。最后将替换后的结果输出到标准输出。需要注意的是,这只是一个简化版的实现,可能无法处理复杂的sed命令和各种参数。实际上,GNU sed工具的实现要比这个示例更复杂和完善。


结语

在我们的探索过程中,我们已经深入了解了Shell命令的强大功能和广泛应用。然而,学习这些技术只是开始。真正的力量来自于你如何将它们融入到你的日常工作中,以提高效率和生产力。

心理学告诉我们,学习是一个持续且积极参与的过程。所以,我鼓励你不仅要阅读和理解这些命令,还要动手实践它们。尝试创建自己的命令,逐步掌握Shell编程,使其成为你日常工作的一部分。

同时,请记住分享是学习过程中非常重要的一环。如果你发现本博客对你有帮助,请不吝点赞并留下评论。分享你自己在使用Shell命令时遇到的问题或者有趣的经验,可以帮助更多人从中学习。

此外,我也欢迎你收藏本博客,并随时回来查阅。因为复习和反复实践也是巩固知识、提高技能的关键。

最后,请记住:每个人都可以通过持续学习和实践成为Shell编程专家。我期待看到你在这个旅途中取得更大进步!

目录
相关文章
|
5天前
|
Shell Android开发
Android系统 adb shell push/pull 禁止特定文件
Android系统 adb shell push/pull 禁止特定文件
16 1
|
20天前
|
Web App开发 Java Linux
Linux之Shell基本命令篇
Linux之Shell基本命令篇
Linux之Shell基本命令篇
|
7天前
|
Java 关系型数据库 MySQL
Elasticsearch【问题记录 01】启动服务&停止服务的2类方法【及 java.nio.file.AccessDeniedException: xx/pid 问题解决】(含shell脚本文件)
【4月更文挑战第12天】Elasticsearch【问题记录 01】启动服务&停止服务的2类方法【及 java.nio.file.AccessDeniedException: xx/pid 问题解决】(含shell脚本文件)
36 3
|
2天前
|
Linux Go 数据安全/隐私保护
Linux 中的文件属性解析
在 Linux 系统中,每个文件和目录有一组属性控制其操作和访问权限。了解这些属性对有效管理文件至关重要。文件属性包括:文件类型(如 `-` 表示普通文件,`d` 表示目录),权限(如 `rwx` 表示所有者权限,`r-x` 表示组和其他用户权限),所有者,组,硬链接数,文件大小和最后修改时间。通过 `chown` 和 `chmod` 命令可更改文件所有者、所属组及权限。此外,还有特殊权限(如 SUID、SGID)和 ACL(访问控制列表)提供更精细的访问控制。
|
3天前
|
人工智能 Linux
Linux查找大文件的方法
Linux查找大文件的方法
|
4天前
|
机器学习/深度学习 Shell Perl
第七章 Shell文本处理三剑客之sed
第七章 Shell文本处理三剑客之sed
|
5天前
|
固态存储 Ubuntu Linux
Linux(29) 多线程快速解压缩|删除|监视大型文件
Linux(29) 多线程快速解压缩|删除|监视大型文件
11 1
|
5天前
|
Ubuntu Linux 数据安全/隐私保护
Linux(24) 如何在Ubuntu中操作rootfs.img文件
Linux(24) 如何在Ubuntu中操作rootfs.img文件
9 0
|
8天前
|
存储 Shell 数据安全/隐私保护
ZooKeeper【基础知识 04】控制权限ACL(原生的 Shell 命令)
【4月更文挑战第11天】ZooKeeper【基础知识 04】控制权限ACL(原生的 Shell 命令)
25 7
|
10天前
|
安全 Linux 开发工具
Linux中可引起文件时间戳改变的相关命令
【4月更文挑战第12天】Linux中可引起文件时间戳改变的相关命令
20 0