Linux下文件分发的算法设计及C代码实现

简介: 在Linux系统的某个源目录中有一批后缀相同的文件,编写程序将这些文件按照前缀分发到不同的目录中。

需求描述
在Linux系统的某个源目录中有一批后缀相同的文件,编写程序将这些文件按照前缀分发到不同的目录中。

例如,源目录SourceDir中存放有三个后缀相同的文件File1_1.txt、File2_1.txt和File3_1.txt,按照前缀File1_、File2_和File3_将它们分别移动(分发)到目录FileDir1、FileDir2和FileDir3中。

算法设计
基于需求,可以采用如图1所示的程序流程:
1

图1 程序总体流程

特殊流程考虑
在编写程序的过程中,对于某些特殊流程的考虑如下:
1.如果扫描源目录出错,则直接停止程序的运行,而不用继续扫描下一个目录。

2.对于某些空文件(即文件的大小为0),直接在源目录中将其删除,而不用进行分发。

3.为了随时能够处理放到源目录中的文件,程序每隔一段时间(如一分钟)扫描一次源目录。也就是说,如果不人为操作,程序启动之后会不停地运行。

程序代码

/**********************************************************************
* 版权所有 (C)2016, Zhou Zhaoxiong。
*
* 文件名称:FileDistribute.c
* 文件标识:无
* 内容摘要:将某个目录中的文件按照前缀分发到对应的目录中
* 其它说明:无
* 当前版本:V1.0
* 作    者:Zhou Zhaoxiong
* 完成日期:20160517
*
**********************************************************************/
#include <stdio.h>
#include <string.h>
#include <dirent.h>
#include <ftw.h>
#include <time.h>

// 重定义数据类型
typedef signed   int        INT32;
typedef unsigned int        UINT32;
typedef unsigned char       UINT8;

// 全局变量定义
UINT8  g_szSourceDir[256] = {0};     // 源文件的目录

// 函数声明
INT32 SelectFlies(struct dirent *pDir);
void ScanDirAndDistribute(void);
void Sleep(UINT32 iCountMs);


/****************************************************************
* 功能描述: 主函数
* 输入参数: 无
* 输出参数: 无
* 返 回 值: 0-执行完成
* 其他说明: 无
* 修改日期       版本号        修改人        修改内容
* -------------------------------------------------------------
* 20160517        V1.0     Zhou Zhaoxiong     创建
****************************************************************/
INT32 main(void)
{
    // 源文件的目录
    snprintf(g_szSourceDir, sizeof(g_szSourceDir)-1, "%s/zhouzx/TestDir/SourceDir", getenv("HOME"));

    // 调用函数执行文件的分发
    while (1)
    {
        ScanDirAndDistribute();

        Sleep(60 * 1000);    // 每一分钟执行一次文件的分发
    }

    return 0;
}


/**********************************************************************
* 功能描述:根据后缀选择文件
* 输入参数:dir-目录
* 输出参数:无
* 返 回 值:0-失败   1-成功
* 其它说明:一个形如test.txt的文件要被扫描出来, 而形如test的文件不符合条件
* 修改日期         版本号      修改人          修改内容
* --------------------------------------------------------------------
* 20160517         V1.0    ZhouZhaoxiong        创建
***********************************************************************/
INT32 SelectFlies(struct dirent *pDir)
{
    if (pDir == NULL)
    {
        printf("SelectFlies:input parameter is NULL!\n");
        return 0;
    }

    // 根据.txt(后缀)选择文件
    if (strstr(pDir->d_name, ".txt") != NULL)
    {
        return 1;         // 找到了满足条件的文件
    }
    else
    {
        return 0;
    }
}


/**********************************************************************
* 功能描述:扫描目录并分发文件
* 输入参数:无
* 输出参数:无
* 返 回 值:无
* 其它说明:无
* 修改日期         版本号      修改人          修改内容
* --------------------------------------------------------------------
* 20160517         V1.0    ZhouZhaoxiong        创建
***********************************************************************/
void ScanDirAndDistribute(void)
{
    INT32  iScanDirRet           = 0;
    UINT32 iFileIdx              = 0;
    UINT32 iFileCount            = 0;
    UINT32 iFileSize             = 0;
    UINT8  szFileDir[256]        = {0};
    UINT8  szScanedFile[512]     = {0};
    UINT8  szCmdBuf[256]         = {0};
    FILE  *fp                    = NULL;
    struct dirent **ppDirEnt     = NULL;

    // 扫描源目录, 并分发文件
    iScanDirRet = scandir(g_szSourceDir, &ppDirEnt, SelectFlies, alphasort);
    if (iScanDirRet < 0)   // 扫描目录出错
    {
        printf("ScanDirAndDistribute:exec scandir failed, path=%s\n", g_szSourceDir);
        return;
    }
    else if (iScanDirRet == 0)   // 目录下无文件
    {
        printf("ScanDirAndDistribute:no satisfied file in directory %s\n", g_szSourceDir);
    }
    else          // 将满足条件的文件移动到对应的目录中
    {
        for (iFileIdx = 0; iFileIdx < iScanDirRet; iFileIdx ++)
        {
            // 先判断扫描到的文件是否为空文件, 是则直接删除, 不是才执行移动的操作
            memset(szScanedFile, 0x00, sizeof(szScanedFile));
            snprintf(szScanedFile, sizeof(szScanedFile) - 1, "%s/%s", g_szSourceDir, ppDirEnt[iFileIdx]->d_name);
            fp = fopen(szScanedFile, "r");
            if (fp == NULL)          // 打开文件失败, 直接返回
            {
                printf("ScanDirAndDistribute:open file %s failed, please check!\n", szScanedFile);
                return;
            }
            fseek(fp, 0, SEEK_END);
            iFileSize = ftell(fp);
            if (iFileSize == 0)     // 该文件为空文件
            {
                printf("ScanDirAndDistribute:%s is an empty file, so delete it directly!\n", szScanedFile);
                memset(szCmdBuf, 0x00, sizeof(szCmdBuf));
                snprintf(szCmdBuf, sizeof(szCmdBuf) - 1, "rm %s", szScanedFile);
                system(szCmdBuf);
            }
            else   // 根据前缀将文件移动(分发)到对应的目录中
            {
                if (strncmp(ppDirEnt[iFileIdx]->d_name, "File1_", strlen("File1_")) == 0)    // 移动到FileDir1
                {
                    memset(szFileDir, 0x00, sizeof(szFileDir));
                    snprintf(szFileDir, sizeof(szFileDir)-1, "%s/zhouzx/TestDir/FileDir1", getenv("HOME"));
                }
                else if (strncmp(ppDirEnt[iFileIdx]->d_name, "File2_", strlen("File2_")) == 0)    // 移动到FileDir2
                {
                    memset(szFileDir, 0x00, sizeof(szFileDir));
                    snprintf(szFileDir, sizeof(szFileDir)-1, "%s/zhouzx/TestDir/FileDir2", getenv("HOME"));
                }
                else if (strncmp(ppDirEnt[iFileIdx]->d_name, "File3_", strlen("File3_")) == 0)    // 移动到FileDir3
                {
                    memset(szFileDir, 0x00, sizeof(szFileDir));
                    snprintf(szFileDir, sizeof(szFileDir)-1, "%s/zhouzx/TestDir/FileDir3", getenv("HOME"));
                }
                else    // 前缀不满足, 直接将该文件删掉
                {
                    memset(szCmdBuf, 0x00, sizeof(szCmdBuf));
                    snprintf(szCmdBuf, sizeof(szCmdBuf) - 1, "rm %s", szScanedFile);
                    system(szCmdBuf);

                    printf("ScanDirAndDistribute:now, %s\n", szCmdBuf);

                    continue;  // 继续判断下一个
                }

                memset(szCmdBuf, 0x00, sizeof(szCmdBuf));
                snprintf(szCmdBuf, sizeof(szCmdBuf) - 1, "mv %s %s", szScanedFile, szFileDir);
                system(szCmdBuf);

                printf("ScanDirAndDistribute:now, %s\n", szCmdBuf);

                iFileCount ++;
            }
        }
    }

    printf("ScanDirAndDistribute:this time,totally moved %d file(s).\n", iFileCount);

    return;
}


/**********************************************************************
* 功能描述: 程序休眠
* 输入参数: iCountMs-休眠时间(单位:ms)
* 输出参数: 无
* 返 回 值: 无
* 其它说明: 无
* 修改日期      版本号       修改人        修改内容
* ------------------------------------------------------------------
* 20160517       V1.0     Zhou Zhaoxiong     创建
********************************************************************/ 
void Sleep(UINT32 iCountMs)
{
    struct timeval t_timeout = {0};

    if (iCountMs < 1000)
    {
        t_timeout.tv_sec  = 0;
        t_timeout.tv_usec = iCountMs * 1000;
    }
    else
    {
        t_timeout.tv_sec  = iCountMs / 1000;
        t_timeout.tv_usec = (iCountMs % 1000) * 1000;
    }
    select(0, NULL, NULL, NULL, &t_timeout);    // 调用select函数阻塞程序
}

程序测试
将编写好的程序“FileDistribute.c”上传到Linux机器,并使用“gcc -g -o FileDistribute FileDistribute.c”命令对该程序进行编译,生成“FileDistribute”文件。下面对程序进行详细的测试。

1.在启动程序之前,在源目录SourceDir中放入文件File1_1.txt、File2_1.txt和File3_1.txt,程序运行情况如下:

ScanDirAndDistribute:now, mv /home/zhou/zhouzx/TestDir/SourceDir/File1_1.txt /home/zhou/zhouzx/TestDir/FileDir1
ScanDirAndDistribute:now, mv /home/zhou/zhouzx/TestDir/SourceDir/File2_1.txt /home/zhou/zhouzx/TestDir/FileDir2

ScanDirAndDistribute:now, mv /home/zhou/zhouzx/TestDir/SourceDir/File3_1.txt /home/zhou/zhouzx/TestDir/FileDir3
ScanDirAndDistribute:this time,totally moved 3 file(s).

可以看到,源目录中的三个文件已经没有了,它们被分别移动到了结果目录FileDir1、FileDir2和FileDir3中:

~/zhouzx/TestDir/SourceDir> ll

total 0
~/zhouzx/TestDir/FileDir1> ll
-rw------- 1 zhou users 12 2016-05-17 18:58 File1_1.txt
~/zhouzx/TestDir/FileDir2> ll
-rw------- 1 zhou users 12 2016-05-17 18:58 File2_1.txt
~/zhouzx/TestDir/FileDir3> ll
-rw------- 1 zhou users 12 2016-05-17 18:58 File3_1.txt

2.一段时间之后,在源目录SourceDir中放入文件File4_1.txt,程序运行情况如下:

ScanDirAndDistribute:now, rm /home/zhou/zhouzx/TestDir/SourceDir/File4_1.txt

ScanDirAndDistribute:this time,totally moved 0 file(s).

可以看到,因为前缀不匹配,File4_1.txt文件直接被删除掉了。

~/zhouzx/TestDir/SourceDir> ll

total 0

3.一段时间之后,在源目录SourceDir中放入空文件File_7.txt、File_8.txt和File_9.txt,程序运行情况如下:

ScanDirAndDistribute:/home/zhou/zhouzx/TestDir/SourceDir/File_7.txt is an empty file, so delete it directly!

ScanDirAndDistribute:/home/zhou/zhouzx/TestDir/SourceDir/File_8.txt is an empty file, so delete it directly!
ScanDirAndDistribute:/home/zhou/zhouzx/TestDir/SourceDir/File_9.txt is an empty file, so delete it directly!
ScanDirAndDistribute:this time,totally moved 0 file(s).

可以看到,源目录SourceDir中的空文件已经被全部删除掉了。

~/zhouzx/TestDir/SourceDir> ll

total 0

需求扩展
基于本文中的需求和程序,可考虑对需求进行以下扩展:
1.在移动(分发)文件之前,先查看相同文件名的文件在对应结果目录中是否存在,如果存在,则直接将该文件在源目录中删除掉;如果不存在,才将该文件移动到对应结果目录中。

2.为避免结果目录中的文件过多,可以在程序中添加清理机制,即将存放时间超过一定时长的文件删除掉。

3.为了体现程序的灵活性,可将部分文件信息(如文件前缀、后缀、存放目录、扫描间隔时长等)存放到配置文件中,程序在启动时读取相关的配置项的值来执行后续目录扫描和文件分发的操作。

目录
相关文章
|
2月前
|
运维 安全 Linux
Linux中传输文件文件夹的10个scp命令
【10月更文挑战第18天】本文详细介绍了10种利用scp命令在Linux系统中进行文件传输的方法,涵盖基础文件传输、使用密钥认证、复制整个目录、从远程主机复制文件、同时传输多个文件和目录、保持文件权限、跨多台远程主机传输、指定端口及显示传输进度等场景,旨在帮助用户在不同情况下高效安全地完成文件传输任务。
271 5
|
2月前
|
Linux Shell 数据库
Linux文件查找新姿势:总有一种你没见过
【10月更文挑战第18天】文件查找是Linux用户提升工作效率的重要技能。本文介绍了几种实用的文件查找方法,包括基础的`find`命令、快速的`locate`和`mlocate`、高效的`fd`工具、以及结合`grep`和`rg`进行内容搜索。此外,还提供了编写Shell脚本和使用图形界面工具的建议,帮助你更灵活地管理文件。
72 3
|
18天前
|
算法
分享一些提高二叉树遍历算法效率的代码示例
这只是简单的示例代码,实际应用中可能还需要根据具体需求进行更多的优化和处理。你可以根据自己的需求对代码进行修改和扩展。
|
19天前
|
Linux 开发工具 Perl
在Linux中,有一个文件,如何删除包含“www“字样的字符?
在Linux中,如果你想删除一个文件中包含特定字样(如“www”)的所有字符或行,你可以使用多种文本处理工具来实现。以下是一些常见的方法:
39 5
|
19天前
|
安全 Linux 数据安全/隐私保护
在 Linux 系统中,查找文件所有者是系统管理和安全审计的重要技能。
在 Linux 系统中,查找文件所有者是系统管理和安全审计的重要技能。本文介绍了使用 `ls -l` 和 `stat` 命令查找文件所有者的基本方法,以及通过文件路径、通配符和结合其他命令的高级技巧。还提供了实际案例分析和注意事项,帮助读者更好地掌握这一操作。
37 6
|
19天前
|
Linux
在 Linux 系统中,`find` 命令是一个强大的文件查找工具
在 Linux 系统中,`find` 命令是一个强大的文件查找工具。本文详细介绍了 `find` 命令的基本语法、常用选项和具体应用示例,帮助用户快速掌握如何根据文件名、类型、大小、修改时间等条件查找文件,并展示了如何结合逻辑运算符、正则表达式和排除特定目录等高级用法。
55 6
|
20天前
|
监控 Linux Perl
Linux 命令小技巧:显示文件指定行的内容
在 Linux 系统中,处理文本文件是一项常见任务。本文介绍了如何使用 head、tail、sed 和 awk 等命令快速显示文件中的指定行内容,帮助你高效处理文本文件。通过实际应用场景和案例分析,展示了这些命令在代码审查、日志分析和文本处理中的具体用途。同时,还提供了注意事项和技巧,帮助你更好地掌握这些命令。
34 4
|
23天前
|
人工智能 算法 大数据
Linux内核中的调度算法演变:从O(1)到CFS的优化之旅###
本文深入探讨了Linux操作系统内核中进程调度算法的发展历程,聚焦于O(1)调度器向完全公平调度器(CFS)的转变。不同于传统摘要对研究背景、方法、结果和结论的概述,本文创新性地采用“技术演进时间线”的形式,简明扼要地勾勒出这一转变背后的关键技术里程碑,旨在为读者提供一个清晰的历史脉络,引领其深入了解Linux调度机制的革新之路。 ###
|
25天前
|
算法 Linux 定位技术
Linux内核中的进程调度算法解析####
【10月更文挑战第29天】 本文深入剖析了Linux操作系统的心脏——内核中至关重要的组成部分之一,即进程调度机制。不同于传统的摘要概述,我们将通过一段引人入胜的故事线来揭开进程调度算法的神秘面纱,展现其背后的精妙设计与复杂逻辑,让读者仿佛跟随一位虚拟的“进程侦探”,一步步探索Linux如何高效、公平地管理众多进程,确保系统资源的最优分配与利用。 ####
66 4
|
25天前
|
网络协议 Linux
linux系统重要文件目录
本文介绍了Linux系统中的重要目录及其历史背景,包括根目录、/usr、/etc、/var/log和/proc等目录的结构和功能。其中,/etc目录下包含了许多关键配置文件,如网卡配置、DNS解析、主机名设置等。文章还详细解释了各目录和文件的作用,帮助读者更好地理解和管理Linux系统。
46 2