【天枢系列 01】Linux行数统计：命令对决，谁才是王者？

01 统计行数命令

Linux行数统计命令遇到的坑：欢迎评论区吐槽，谁能笑到最后？

在 Linux 中，你可以使用多种命令来统计文件的行数。以下是其中一些常用的命令：

1.1 wc 命令

wc 命令用于统计文件的行数、字数和字符数。

-l 选项表示只统计行数。

wc -l filename

1.2 grep 命令

grep 命令用于搜索文件中与模式匹配的行，并可以配合 -c 选项统计匹配行的数量。

这里使用 ^ 来匹配每一行的开头，实现对所有行的统计。

grep -c '^' filename

1.3 sed 命令

sed 命令主要用于对文件进行文本替换和转换操作，但也可以用来统计行数。

$= 表示输出最后一行的行号，从而实现对整个文件行数的统计。

sed -n '$=' filename

1.4 awk 命令

awk 命令可以进行更复杂的文本处理，但也可以用来简单地统计行数。

NR 是 awk 内置变量，表示已读的记录数，因此 END {print NR} 会在处理完整个文件后输出行数

awk 'END {print NR}' filename。

1.5 Perl 命令

Perl 是一种功能强大的脚本语言，在 Linux 中也可以用来进行文件处理和统计。

$. 是 Perl 的特殊变量，表示已读的记录数，这里使用 -l 选项自动处理行尾换行符。

以上是一些常用的 Linux 命令用于统计文件的行数。每个命令都有其特点和用途，你可以根据具体情况选择合适的命令进行使用。

perl -lne 'END {print $.}' filename

02 Linux的wc命令详细用法

wc 命令是在 Unix 和类 Unix 系统（包括 Linux）上用于计算文件中字节数、字数和行数的工具。它的名称代表 “word count”（单词计数），但它实际上可以执行更广泛的统计任务。下面详细描述了 wc 命令的用法和功能：

2.1 基本语法

wc [选项] 文件名

2.2 主要选项

• -c：显示文件中的字节数。
• -w：显示文件中的字数。
• -l：显示文件中的行数。

2.3 附加选项

• -m：显示文件中的字符数（在多字节字符时可能不准确）。
• -L：显示文件中最长行的长度。
• -help：显示帮助信息。
• --version：显示 wc 命令的版本信息。

2.4 示例用法

1.统计文件的行数

wc -l filename.txt

2.统计文件的字节数

wc -c filename.txt

3.统计文件的字数

wc -w filename.txt

4.同时显示行数、字数和字节数

wc filename.txt

5.统计多个文件的总行数

wc -l file1.txt file2.txt

2.5 注意事项【重要！】

• 如果文件名包含空格或特殊字符，应该将文件名用引号括起来，以确保命令正确解析文件名。
• 在使用 -c 选项时，wc 命令会统计文件中的每个字节，包括文本文件中的换行符和空格符。
• 在使用 -m 选项时，wc 命令会尝试准确地统计文件中的字符数，但在某些情况下可能不准确，特别是当文件包含多字节字符（如 Unicode）时。

wc 命令是一个简单而强大的文本统计工具，可用于快速查看文件的基本信息，如大小、长度和行数。它在日常的文件处理和分析工作中非常有用。

03 Linux的grep命令详细用法

grep 命令是在 Unix 和类 Unix 系统（包括 Linux）上用于搜索文本的强大工具。它允许用户根据模式（正则表达式）在文件中查找匹配的文本行。下面是 grep 命令的详细描述：

3.1 基本语法

grep [选项] 模式 文件名

3.2 主要选项

• -i：忽略大小写。
• -r 或 -R：递归地搜索目录中的文件。
• -n：显示匹配行的行号。
• -l：仅显示包含匹配项的文件名，而不显示匹配的行。
• -v：反转匹配，只显示不匹配的行。
• -c：仅显示匹配的行数，而不显示具体匹配的内容。
• -A NUM：显示匹配行及其后面的 NUM 行。
• -B NUM：显示匹配行及其前面的 NUM 行。
• -C NUM 或 -NUM：显示匹配行及其前后各 NUM 行。

3.3 示例用法

1.在文件中搜索包含特定字符串的行

grep "pattern" filename.txt

2.忽略搜索时的大小写

grep -i "pattern" filename.txt

3.递归地在目录中搜索文件

grep -r "pattern" /path/to/directory

4.显示匹配行的行号

grep -n "pattern" filename.txt

5.仅显示包含匹配项的文件名

grep -l "pattern" *.txt

6.反转匹配，只显示不匹配的行

grep -v "pattern" filename.txt

7.统计匹配的行数

grep -c "pattern" filename.txt

8.显示匹配行及其前后各 2 行

grep -C 2 "pattern" filename.txt

3.4 注意事项【重要！】

• 模式可以是简单的字符串，也可以是更复杂的正则表达式。
• 如果模式中包含特殊字符，可能需要使用引号将其括起来，以防止 Shell 解释它们。
• grep 支持多个文件名和目录名，可以一次性搜索多个文件。

grep 命令是一个强大的文本搜索工具，广泛用于查找和过滤文件中的信息。它支持各种选项和参数，使用户能够根据不同的需求进行灵活的文本搜索操作。

04 Linux的sed命令详细用法

sed（流编辑器）是一个在Linux系统中非常强大的文本处理工具，它可以实现对文本进行流式编辑，通常用于文本转换、替换、删除、提取等操作。以下是关于sed命令的详细描述：

4.1 基本语法

sed [选项] '动作' 文件名

• 选项：sed命令支持多种选项，用于指定sed的行为，如 -i 用于直接修改文件内容等。
• 动作：对应sed要执行的操作，如替换、删除、添加等。
• 文件名：要处理的文件名。

4.2 主要选项

• -e：允许在命令行上指定多个编辑命令。
• -i：直接修改文件内容，而不是将结果输出到标准输出。
• -n：取消默认的自动打印，只有在命令中指定了打印的情况下才会输出。

4.3 示例用法

1.替换操作

这个命令将文件中的所有匹配到的原字符串替换为新字符串。其中，s 表示替换操作，/g 表示全局替换，即一行中所有匹配的都会被替换。

sed 's/原字符串/新字符串/g' 文件名

2.删除操作

这个命令将文件中匹配到的行删除。其中，/匹配条件/ 是删除的条件。

sed '/匹配条件/d' 文件名

3.添加操作

这个命令将指定行后添加文本。a 表示添加操作，后面跟着要添加的文本内容。

sed '行号a\插入的文本' 文件名

4.打印操作

这个命令将文件中的内容逐行打印出来，-n 选项用于禁止默认的打印行为。

sed -n 'p' 文件名

5.行匹配

这个命令将文件中匹配到的行打印出来。

sed -n '/匹配条件/p' 文件名

6.保存修改

这个命令会直接修改文件内容，而不是在标准输出中显示结果。

sed -i 's/原字符串/新字符串/g' 文件名

4.4 注意事项【重要！】

使用 sed 时有几个注意事项需要考虑：

1. 备份原始文件：当你使用 -i 选项直接修改文件时，sed 会直接在原始文件上进行修改。在进行大规模编辑之前，最好备份原始文件，以防出现意外情况。
2. 特殊字符转义：当编辑命令中涉及到特殊字符时（如斜杠 /、引号 ' 等），需要进行适当的转义以确保命令的正确性。特别是在正则表达式中使用 / 字符时，需要进行转义，或者使用其他分隔符避免与替换字符串的斜杠混淆。
3. 模式匹配：在使用模式匹配时，确保模式能够准确地匹配到你想要操作的内容。否则可能会造成意外的结果，甚至是对不应该编辑的部分进行修改。
4. 多行操作：sed 默认是按行处理文本的，如果需要进行跨行操作，需要使用适当的命令组合或者模式匹配来实现。
5. 性能考虑：在处理大型文件时，sed 可能会有性能问题。如果可能的话，最好使用更高效的工具或者编程语言来处理大规模文本文件。
6. 平台兼容性：sed 在不同的操作系统上可能会有不同的行为，特别是在涉及扩展功能时。在编写脚本或者命令时，需要考虑到目标平台的兼容性。
7. 命令顺序：sed 执行编辑命令的顺序是按照它们在命令行或者脚本中的顺序来的。确保编辑命令的顺序是符合你预期的。
8. 学习正则表达式：sed 的很多功能都依赖于正则表达式，因此熟悉正则表达式语法是非常有帮助的。你可以参考正则表达式的相关资料来学习和掌握它。
9. 测试和验证：在对重要的文本进行编辑之前，最好先在少量数据或者备份文件上进行测试和验证，以确保编辑操作的准确性和安全性。

通过谨慎考虑这些注意事项，你可以更好地利用 sed 进行文本编辑和转换，避免出现意外情况。

05 Linux的awk详细用法

awk 是一种强大的文本处理工具，在 Unix 和类 Unix 系统中广泛使用。它的名字来自于其三位创始人 Alfred Aho、Peter Weinberger 和 Brian Kernighan 的姓氏的首字母。awk 可以从输入文件或标准输入流中读取数据，然后根据用户指定的模式和动作来处理这些数据。

5.1 基本语法

awk 'pattern { action }' filename

• pattern：用于匹配行的条件或模式。
• { action }：在匹配到符合条件的行时执行的动作。

5.2 主要功能

1. 数据提取和转换：awk 可以根据指定的模式从文本文件中提取数据，并且可以对这些数据进行转换、格式化或计算。
2. 文本格式化：awk 可以按照用户指定的格式将数据输出到标准输出流，从而实现文本的格式化输出。
3. 报告生成：awk 可以根据输入文件的内容生成报告或摘要，包括统计信息、计数、求和等。
4. 文本处理：awk 可以根据用户指定的模式和动作来处理文本文件的每一行，包括匹配、替换、删除等操作。
5. 自定义变量：awk 允许用户定义自己的变量，并且可以在模式匹配和动作执行过程中使用这些变量。
6. 自定义函数：awk 允许用户定义自己的函数，并且可以在 awk 脚本中调用这些函数来完成特定的任务。

5.3 内置变量

awk 提供了许多内置变量，用于在脚本中引用当前处理的行、字段等信息。一些常用的内置变量包括：

• NR：当前记录数（行号）。
• NF：当前记录中的字段数。
• $0：整个当前记录。
• $1, $2, …：第 1、2、… 个字段的值。
• FS：字段分隔符，默认为空格或制表符。
• RS：记录分隔符，默认为换行符。

5.4 示例用法

1.打印文件的每一行

awk '{print}' filename

2.打印指定字段

awk '{print $1, $3}' filename

3.根据条件进行筛选

awk '/pattern/ {print}' filename

4.计算某一列的总和

awk '{sum += $1} END {print sum}' filename

5.使用自定义分隔符

awk -F',' '{print $1}' filename.csv

6.根据条件进行统计

awk '$3 > 100 {count++} END {print count}' filename

7.输出格式化的结果

awk '{printf "%-10s %-10s\n", $1, $2}' filename

5.5 注意事项【重要！】

• awk 提供了一种简洁而灵活的方式来处理文本数据，特别适用于需要对结构化文本进行处理和分析的任务。
• 由于 awk 是一种解释型语言，因此它的执行效率可能比编译型语言低，特别是对于处理大型文件时需要谨慎使用。
• 熟练掌握 awk 的语法和功能对于在 Unix/Linux 环境下进行文本处理是非常有益的。

awk 是 Unix/Linux 系统中的一个重要工具，它的灵活性和功能强大性使得它成为许多系统管理员和开发人员的首选工具之一。

06 Linux的 Perl 命令详细用法

在Linux中，Perl命令提供了强大的文本处理功能，它允许你使用Perl语言的特性来进行文本处理和脚本编程。Perl是一种高级的脚本语言，具有强大的正则表达式支持和丰富的内置函数库，因此在文本处理和系统管理方面非常有用。

6.1 示例用法

Perl命令的基本语法类似于在Perl脚本中使用的语法。下面是一些Perl命令的基本语法元素：

1. 执行Perl代码：

bashperl -e 'print "Hello, World!\n";'

1. 这个例子中，-e 参数用于在命令行中指定一行Perl代码，这里打印了 “Hello, World!” 并换行。
2. 执行Perl脚本：

bashperl script.pl

1. 在这个例子中，script.pl 是一个包含Perl脚本的文件，通过perl命令执行。
2. 使用变量：

bashperl -e '$name = "John"; print "Hello, $name!\n";'

1. 这个例子中，创建了一个名为$name的变量，并在输出中使用了它。
2. 正则表达式：

bashperl -e '$string = "This is a sample text."; $string =~ s/sample/Perl/; print "$string\n";'

1. 这个例子中，使用了正则表达式来替换字符串中的 “sample” 为 “Perl”。
2. 文件处理：

bashperl -ne 'print if /pattern/' filename.txt

1. 这个例子中，使用了 -n 参数，它使得Perl循环处理输入文件的每一行，然后使用正则表达式 /pattern/ 进行匹配，如果匹配成功则打印该行。
2. 条件语句：

bashperl -e '$x = 10; if ($x > 5) { print "x is greater than 5\n"; } else { print "x is not greater than 5\n"; }'

1. 这个例子中，使用了条件语句来判断变量 $x 是否大于5。
2. 循环：

bashperl -e 'for my $i (1..5) { print "$i\n"; }'

1. 这个例子中，使用了 for 循环打印数字 1 到 5。

这些例子展示了Perl命令的基本语法元素，其中 -e 参数用于在命令行中执行Perl代码，而其他元素则包括变量、正则表达式、条件语句和循环等常见的Perl语法结构。

6.2 注意事项【重要！】

当使用Perl命令时，有几个注意事项需要牢记：

1. Perl解释器的路径： 在某些系统上，Perl解释器的路径可能不是 /usr/bin/perl，而是其他位置。因此，在编写脚本或者执行Perl命令时，确保指定了正确的解释器路径。
2. 语法严谨： Perl是一种解释型语言，它对语法的严谨性要求较高。在编写Perl脚本或者使用Perl命令时，务必注意语法错误，因为即使是一个小小的拼写错误或者符号错误都可能导致程序无法正常执行。
3. 文件权限： 如果要执行的Perl脚本位于受限制的目录中，或者是其他用户创建的，确保你有执行该脚本的权限。在执行Perl脚本时，需要注意文件的权限设置。
4. 文件编码： Perl脚本的文件编码应该是ASCII或者UTF-8等标准编码。在某些情况下，使用了不兼容的文件编码可能导致解释器无法正确解析脚本内容。
5. 使用 -w 和 use strict： 在Perl脚本中，建议始终使用 -w 选项来启用警告信息，以便在可能的错误发生时及时发现。另外，使用 use strict; 指令可以强制执行更严格的变量声明规则，有助于减少错误。
6. 跨平台兼容性： 编写Perl脚本时，要注意跨平台兼容性，尤其是在涉及文件路径、命令执行等系统相关操作时。确保脚本在不同操作系统上都能正常执行。
7. 依赖模块： 如果Perl脚本依赖于某些模块，确保这些模块已经安装并可用。你可以使用 cpan 或者其他Perl模块管理工具来安装所需的模块。
8. 安全性考虑： 当执行从未验证过的Perl脚本时，要格外小心。恶意脚本可能会对系统造成严重的安全威胁，因此在执行任何来自不信任来源的Perl代码之前，应该进行仔细审查。
9. 日志记录和错误处理： 在Perl脚本中添加适当的日志记录和错误处理机制是非常重要的，这有助于跟踪程序执行过程中的问题，并及时发现并解决错误。

总的来说，使用Perl命令时需要谨慎，遵循良好的编码实践和安全原则，以确保脚本的可靠性、安全性和可维护性。