【Shell 命令集合 文档编辑】Linux 比较两个已排序的文件 comm 命令使用教程

简介: 【Shell 命令集合 文档编辑】Linux 比较两个已排序的文件 comm 命令使用教程

Shell 命令专栏:Linux Shell 命令全解析

描述

comm命令用于比较两个已排序的文件,并输出它们的交集、差集或并集。下面是comm命令的详细描述:

文件描述

  • FILE1:第一个输入文件。
  • FILE2:第二个输入文件。

工作原理

comm命令将两个已排序的文件进行比较,并输出三列结果:

  • 第一列:仅在FILE1中存在的行。
  • 第二列:仅在FILE2中存在的行。
  • 第三列:同时在FILE1FILE2中都存在的行。

语法格式

comm [OPTION]... FILE1 FILE2

参数说明

  • -1:仅显示在第一个文件中存在的行。
  • -2:仅显示在第二个文件中存在的行。
  • -3:仅显示在两个文件中都不存在的行。
  • -i:在比较时忽略大小写。
  • --output-delimiter=STRING:使用指定的字符串作为字段之间的分隔符。
  • -z:使用空字符作为行分隔符。
  • --help:显示帮助信息并退出。
  • --version:显示版本信息并退出。

错误情况

  • 如果没有提供两个文件作为输入,会显示错误信息并退出。
  • 如果指定的文件不存在或无法访问,会显示错误信息并退出。
  • 如果使用未知的选项或参数,会显示错误信息并退出。

这是关于Linux comm命令的语法格式、参数说明和错误情况的介绍。

注意事项

使用Linux shell中的comm命令时,有一些注意事项需要注意:

  1. comm命令要求输入的文件必须是已排序的。如果文件未排序,comm命令的输出可能会不正确。可以使用sort命令对文件进行排序,然后再使用comm命令进行比较。
  2. comm命令默认以文本行作为比较的单位,因此在比较之前,确保输入的文件是以文本行的形式存在的。如果文件中存在二进制数据或特殊字符,可能会导致comm命令的输出不正确。
  3. comm命令默认区分大小写,如果希望忽略大小写进行比较,可以使用-i选项。
  4. comm命令默认使用制表符作为字段之间的分隔符,如果需要使用其他分隔符,可以使用--output-delimiter=STRING选项指定分隔符。
  5. comm命令的输出是按照字典顺序排序的。如果希望按照输入文件的顺序输出结果,可以使用--nocheck-order选项。
  6. comm命令只能比较两个文件,不能比较多个文件。如果需要比较多个文件,可以使用管道符|将多个comm命令连接起来。
  7. comm命令的输出包含三列,第一列表示只存在于第一个文件中的行,第二列表示只存在于第二个文件中的行,第三列表示两个文件共有的行。如果某一列为空,则表示在对应的文件中不存在对应的行。
  8. comm命令可以使用-1-2-3选项来控制输出的内容。可以根据具体需求选择相应的选项。

这些是使用Linux shell中的comm命令时需要注意的事项。遵循这些注意事项可以确保正确使用comm命令并获得正确的比较结果。


底层实现

在Linux shell中,comm命令的底层实现是通过比较两个已排序文件的行来确定它们之间的差异。下面是comm命令的大致实现方式:

  1. 打开并读取两个输入文件,这两个文件必须是已排序的。
  2. 创建三个缓冲区,分别用于存储两个文件的行和共有的行。
  3. 从两个输入文件中逐行读取数据,并将它们存储在对应的缓冲区中。
  4. 通过比较两个缓冲区中的行,确定它们之间的差异。
  5. 根据比较的结果,将行分别存储在只存在于一个文件中的行的缓冲区中,或者存储在共有行的缓冲区中。
  6. 将最终的结果按照字典顺序进行排序。
  7. 输出结果,包括只存在于一个文件中的行、共有的行以及只存在于另一个文件中的行。

comm命令的底层实现主要依赖于文件的排序和行的比较。它通过逐行读取文件并比较行的内容,从而确定文件之间的差异。comm命令使用了一些数据结构,如缓冲区,来存储行和比较结果。同时,它也使用了一些算法,如排序算法,来对结果进行排序和处理。

需要注意的是,comm命令的具体实现可能会因不同的Linux发行版和版本而有所差异。上述描述是一种常见的实现方式,但具体的实现细节可能会因不同的实现而有所不同。


示例

示例一

比较两个已排序的文件,并输出它们的交集、差集或并集。

命令:

comm file1.txt file2.txt

输出:

apple
        orange
banana
grape
        kiwi

解释:

  • 第一列为空格,表示在file1.txt中不存在的行。
  • 第二列为空格,表示在file2.txt中不存在的行。
  • 第三列为bananagrape,表示同时在file1.txtfile2.txt中都存在的行。

示例二

比较两个已排序的文件,并输出仅在第一个文件中独有的行。

命令:

comm -1 -3 file1.txt file2.txt

输出:

apple
        orange

解释:

  • 第一列为appleorange,表示在file1.txt中存在但在file2.txt中不存在的行。
  • 第二列为空格,表示在file2.txt中不存在的行。
  • 第三列为空格,表示同时在file1.txtfile2.txt中都存在的行。

示例三

比较两个已排序的文件,并输出仅在第二个文件中独有的行。

命令:

comm -2 -3 file1.txt file2.txt

输出:

kiwi

解释:

  • 第一列为空格,表示在file1.txt中不存在的行。
  • 第二列为kiwi,表示在file2.txt中存在但在file1.txt中不存在的行。
  • 第三列为空格,表示同时在file1.txtfile2.txt中都存在的行。

示例四

比较两个已排序的文件,并忽略大小写进行比较。

命令:

comm -i file1.txt file2.txt

输出:

apple
        orange
banana
grape
        kiwi

解释:

  • 第一列为空格,表示在file1.txt中不存在的行。
  • 第二列为空格,表示在file2.txt中不存在的行。
  • 第三列为bananagrape,表示同时在file1.txtfile2.txt中都存在的行。

示例五

比较两个已排序的文件,并输出以制表符作为字段之间的分隔符。

命令:

comm -3 --output-delimiter=$'\t' file1.txt file2.txt

输出:

apple   orange

解释:

  • 第一列为appleorange,表示在file1.txt中存在但在file2.txt中不存在的行。
  • 第二列为空格,表示在file2.txt中不存在的行。
  • 第三列为空格,表示同时在file1.txtfile2.txt中都存在的行。

示例六

比较两个已排序的文件,并以空字符作为行分隔符。

命令:

comm -z file1.txt file2.txt

输出:

apple
        orange
banana
grape
        kiwi

解释:

  • 第一列为空格,表示在file1.txt中不存在的行。
  • 第二列为空格,表示在file2.txt中不存在的行。
  • 第三列为bananagrape,表示同时在file1.txtfile2.txt中都存在的行。

示例七

比较两个已排序的文件,并输出仅在第一个文件中独有的行,同时忽略大小写进行比较。

命令:

comm -1 -3 -i file1.txt file2.txt

输出:

orange

解释:

  • 第一列为orange,表示在file1.txt中存在但在file2.txt中不存在的行。
  • 第二列为空格,表示在file2.txt中不存在的行。
  • 第三列为空格,表示同时在file1.txtfile2.txt中都存在的行。

这些是comm命令的7个使用示例。你可以根据需要使用不同的选项和参数来执行比较操作。


用c语言实现


以下是一个使用C语言实现comm命令的示例代码,附有详细注释:

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#define MAX_LINE_LENGTH 256
// 比较两个字符串的大小,返回比较结果
int compare(const void *a, const void *b) {
    return strcmp(*(const char **)a, *(const char **)b);
}
int main(int argc, char *argv[]) {
    FILE *file1, *file2;
    char line1[MAX_LINE_LENGTH], line2[MAX_LINE_LENGTH];
    char **lines1, **lines2;
    int count1 = 0, count2 = 0;
    int i = 0, j = 0;
    // 检查命令行参数
    if (argc != 3) {
        printf("Usage: comm <file1> <file2>\n");
        return 1;
    }
    // 打开文件
    file1 = fopen(argv[1], "r");
    if (file1 == NULL) {
        printf("Error opening file: %s\n", argv[1]);
        return 1;
    }
    file2 = fopen(argv[2], "r");
    if (file2 == NULL) {
        printf("Error opening file: %s\n", argv[2]);
        fclose(file1);
        return 1;
    }
    // 读取文件1的行,并存储在动态分配的数组中
    while (fgets(line1, MAX_LINE_LENGTH, file1) != NULL) {
        lines1 = realloc(lines1, (count1 + 1) * sizeof(char *));
        lines1[count1] = strdup(line1);
        count1++;
    }
    // 读取文件2的行,并存储在动态分配的数组中
    while (fgets(line2, MAX_LINE_LENGTH, file2) != NULL) {
        lines2 = realloc(lines2, (count2 + 1) * sizeof(char *));
        lines2[count2] = strdup(line2);
        count2++;
    }
    // 排序两个数组
    qsort(lines1, count1, sizeof(char *), compare);
    qsort(lines2, count2, sizeof(char *), compare);
    // 比较两个数组的元素,并输出结果
    while (i < count1 && j < count2) {
        int cmp = strcmp(lines1[i], lines2[j]);
        if (cmp < 0) {
            printf("%s\t", lines1[i]);
            i++;
        } else if (cmp > 0) {
            printf("\t%s", lines2[j]);
            j++;
        } else {
            printf("\t\t%s", lines1[i]);
            i++;
            j++;
        }
    }
    // 输出剩余的行
    while (i < count1) {
        printf("%s\t", lines1[i]);
        i++;
    }
    while (j < count2) {
        printf("\t%s", lines2[j]);
        j++;
    }
    // 释放内存并关闭文件
    for (i = 0; i < count1; i++) {
        free(lines1[i]);
    }
    free(lines1);
    for (j = 0; j < count2; j++) {
        free(lines2[j]);
    }
    free(lines2);
    fclose(file1);
    fclose(file2);
    return 0;
}

这个示例代码中,首先通过命令行参数获取要比较的两个文件的路径。然后,它打开这两个文件,并逐行读取文件内容,将每一行存储在动态分配的数组中。接下来,它使用qsort函数对数组进行排序。最后,它比较两个数组的元素,并根据比较结果输出结果。在输出结果时,comm命令的格式要求使用制表符进行分隔。

注意,这只是一个简化的示例代码,可能在处理大型文件或者特殊情况下存在性能问题。实际的comm命令实现还需要考虑更多的细节和错误处理。


结语

在我们的探索过程中,我们已经深入了解了Shell命令的强大功能和广泛应用。然而,学习这些技术只是开始。真正的力量来自于你如何将它们融入到你的日常工作中,以提高效率和生产力。

心理学告诉我们,学习是一个持续且积极参与的过程。所以,我鼓励你不仅要阅读和理解这些命令,还要动手实践它们。尝试创建自己的命令,逐步掌握Shell编程,使其成为你日常工作的一部分。

同时,请记住分享是学习过程中非常重要的一环。如果你发现本博客对你有帮助,请不吝点赞并留下评论。分享你自己在使用Shell命令时遇到的问题或者有趣的经验,可以帮助更多人从中学习。

此外,我也欢迎你收藏本博客,并随时回来查阅。因为复习和反复实践也是巩固知识、提高技能的关键。

最后,请记住:每个人都可以通过持续学习和实践成为Shell编程专家。我期待看到你在这个旅途中取得更大进步!

目录
相关文章
|
11月前
|
算法 Linux Shell
Linux实用技能:打包压缩、热键、Shell与权限管理
本文详解Linux打包压缩技巧、常用命令与原理,涵盖.zip与.tgz格式操作、跨系统传文件方法、Shell运行机制及权限管理,助你高效使用Linux系统。
Linux实用技能:打包压缩、热键、Shell与权限管理
|
11月前
|
存储 安全 Unix
七、Linux Shell 与脚本基础
别再一遍遍地敲重复的命令了,把它们写进Shell脚本,就能一键搞定。脚本本质上就是个存着一堆命令的文本文件,但要让它“活”起来,有几个关键点:文件开头最好用#!/usr/bin/env bash来指定解释器,并用chmod +x给它执行权限。执行时也有讲究:./script.sh是在一个新“房间”(子Shell)里跑,不影响你;而source script.sh是在当前“房间”里跑,适合用来加载环境变量和配置文件。
902 9
|
11月前
|
存储 Shell Linux
八、Linux Shell 脚本:变量与字符串
Shell脚本里的变量就像一个个贴着标签的“箱子”。装东西(赋值)时,=两边千万不能有空格。用单引号''装进去的东西会原封不动,用双引号""则会让里面的$变量先“变身”再装箱。默认箱子只能在当前“房间”(Shell进程)用,想让隔壁房间(子进程)也能看到,就得给箱子盖个export的“出口”戳。此外,Shell还自带了$?(上条命令的成绩单)和$1(别人递进来的第一个包裹)等许多特殊箱子,非常有用。
970 2
|
NoSQL 关系型数据库 Linux
ERPNext 搭建教程:Linux 一键部署与维护
ERPNext 是一款开源免费的企业资源计划系统,适用于中小企业信息化管理。基于 Python 和 Frappe 框架开发,支持财务、销售、人力、库存等模块,具备高度可定制性。本文介绍如何通过 Websoft9 在 Linux 下快速部署 ERPNext,并提供环境配置、系统维护等实用建议,适合开发者和企业用户快速上手。
2338 7
ERPNext 搭建教程:Linux 一键部署与维护
|
12月前
|
弹性计算 安全 Linux
阿里云服务器ECS安装宝塔Linux面板、安装网站(新手图文教程)
本教程详解如何在阿里云服务器上安装宝塔Linux面板,涵盖ECS服务器手动安装步骤,包括系统准备、远程连接、安装命令执行、端口开放及LNMP环境部署,手把手引导用户快速搭建网站环境。
|
Java Linux 网络安全
Linux云端服务器上部署Spring Boot应用的教程。
此流程涉及Linux命令行操作、系统服务管理及网络安全知识,需要管理员权限以进行配置和服务管理。务必在一个测试环境中验证所有步骤,确保一切配置正确无误后,再将应用部署到生产环境中。也可以使用如Ansible、Chef等配置管理工具来自动化部署过程,提升效率和可靠性。
1132 13
|
Web App开发 缓存 安全
Linux一键清理系统垃圾:释放30GB空间的Shell脚本实战​
这篇博客介绍了一个实用的Linux系统盘清理脚本,主要功能包括: 安全权限检查和旧内核清理,保留当前使用内核 7天以上日志文件清理和系统日志压缩 浏览器缓存(Chrome/Firefox)、APT缓存、临时文件清理 智能清理Snap旧版本和Docker无用数据 提供磁盘空间使用前后对比和大文件查找功能 脚本采用交互式设计确保安全性,适合定期维护开发环境、服务器和个人电脑。文章详细解析了脚本的关键功能代码,并给出了使用建议。完整脚本已开源,用户可根据需求自定义调整清理策略。
1311 1
|
12月前
|
Ubuntu 网络协议 Unix
Linux教程(Ubuntu为蓝本)之Linux介绍篇
SuSE嫁到了Novell,SCO继续顶着骂名四处强行“化缘”, Asianux, MandrakeSoft也在五年中首次宣布季度赢利。3月,SGI宣布成功实现了Linux操作系统支持256个Itanium 2处理器。[1-2]
|
12月前
|
Ubuntu Linux 数据安全/隐私保护
Win10安装Linux子系统教程!如何在Win10系统中安装Ubuntu!
登录系统后,输入cd /返回上一级,然后再输入“ls”查看一下系统文件目录,看看对不对!
|
Linux Shell 数据安全/隐私保护
Centos或Linux编写一键式Shell脚本创建用户、组、目录分配权限指导手册
Centos或Linux编写一键式Shell脚本创建用户、组、目录分配权限指导手册
701 3