【C#】大批量判断文件是否存在的两种方法效率对比

简介: 【C#】大批量判断文件是否存在的两种方法效率对比

在日常开发中,我们经常需要和文件打交道,特别是桌面开发,有时候会需要加载大批量的文件,而且可能还会存在部分文件缺失的情况,那么如何才能快速判断文件是否存在呢?如果处理不当,且文件数量比较多的时候,可能会造成卡顿等情况,进而影响程序的使用体验。今天就以一个简单的小例子,简述两种不同的判断文件是否存在的方式以及效率比较。

涉及知识点

在本示例中,涉及的知识点如下:

单个文件是否存在判断,通常采用File.Exists(file)来判断文件是否存在,存在返回true,不存在返回false。

获取目录下的文件,通常采用Directory.GetFiles(dir)来获取目录下的文件,返回目录下的文件列表。

计算程序执行耗时,通常采用Stopwatch进行计算,单位可以是毫秒,秒,TimeSpan等。

前提

本示例的前提是,通常有多个文件(如:几十,几百,几千,几万)需要判断是否存在,且文件隶属于多个目录。

循环文件判断

C#默认提供的文件存在判断方式,一般用于单个文件。如果有多个文件,可以批量循环进行判断。步骤如下:

循环需要判断的文件列表

每个文件都判断一次文件是否存在。  

代码如下所示:

/// <summary>
/// 逐一判断是否存在,并返回判断时长
/// </summary>
/// <param name="files"></param>
/// <returns></returns>
privatestaticlongCheckFileExist01(List<string> files)
{
  Stopwatch stopwatch = new Stopwatch();
  stopwatch.Start();
  foreach (var file in files)
  {
    if (File.Exists(file))
    {
    }
  }
  stopwatch.Stop();
  return stopwatch.ElapsedMilliseconds;
}

上述判断方式,如果有一百个文件,则会进行一百次的文件是否存在判断,都是磁盘文件判断。

统一获取判断

统一获取,即获取文件夹目录下的文件,在内存中判断文件是否存在。步骤如下:

先获取文件列表所在的文件夹,

获取文件夹中的所有文件,存入字典中,

然后通过字典判断是否包含文件

代码如下所示:

/// <summary>
/// 统一获取文件夹目录中的文件,再进行判断
/// </summary>
/// <param name="files"></param>
/// <returns></returns>
privatestaticlongCheckFileExist02(List<string> files)
{
  Stopwatch stopwatch = new Stopwatch();
  stopwatch.Start();
  Dictionary<string,string> dictionary = new Dictionary<string, string>();
  var folders = files.Select(item=>Path.GetDirectoryName(item)).Distinct().ToList();
  foreach (var folder in folders)
  {
    var tmpFiles=Directory.GetFiles(folder);
    foreach(var tmpFile in tmpFiles)
    {
      dictionary[tmpFile] = tmpFile;
    }
  }
  foreach (var file in files)
  {
    if (dictionary.TryGetValue(file, outstring a))
    {
    }
  }
  stopwatch.Stop();
  return stopwatch.ElapsedMilliseconds;
}

性能比较

在本示例中,分别从不同维度进行比较,如:本地文件和共享目录文件,以及不同文件数量进行比较。分别如下:

1. 本地文件

本地文件,分别对10到500个文件进行判断是否存在,对两种方式的耗时比较。

其中横坐标为文件数量,纵坐标为判断文件是否存在的执行耗时(毫秒)。如下所示:

通过比较发现,对于本地文件,结论如下:

对于需要判断的文件数量较少时,循环单个文件和统一获取再判断,性能上并无太大差异。

随着需要判断的文件数量逐渐增多,循环单个文件的耗时会增加,而统一获取在内存判断,则并无太大波动。

受操作系统影响,性能耗时可能会存在波动。

2. 共享目录文件

共享文件,分别对10到500个文件进行判断是否存在,对两种方式的耗时比较。

其中横坐标为文件数量,纵坐标为判断文件是否存在的执行耗时(毫秒)。如下所示:

通过比较发现,对于共享目录文件,结论如下:

随着需要判断的文件数量逐渐增多,循环单个文件的耗时会增加,而统一获取在内存判断,则并无太大波动。

受操作系统或网络影响,性能耗时可能会存在波动。

结论

通过对本地文件和共享目录下文件,以及不同数量的文件进行文件是否存在校验的耗时比较分析,结论如下:

如果需要判断的文件数量比较多,且分散存储的目录虽然不唯一,却相对集中,建议采用第二种(统一获取)方式进行校验。


目录
相关文章
|
3月前
|
开发框架 .NET 程序员
C# 去掉字符串最后一个字符的 4 种方法
在实际业务中,我们经常会遇到在循环中拼接字符串的场景,循环结束之后拼接得到的字符串的最后一个字符往往需要去掉,看看 C# 提供了哪4种方法可以高效去掉字符串的最后一个字符
345 0
|
2月前
|
编译器 C#
C#多态概述:通过继承实现的不同对象调用相同的方法,表现出不同的行为
C#多态概述:通过继承实现的不同对象调用相同的方法,表现出不同的行为
122 65
|
1月前
|
JSON 程序员 C#
使用 C# 比较两个对象是否相等的7个方法总结
比较对象是编程中的一项基本技能,在实际业务中经常碰到,比如在ERP系统中,企业的信息非常重要,每一次更新,都需要比较记录更新前后企业的信息,直接比较通常只能告诉我们它们是否指向同一个内存地址,那我们应该怎么办呢?分享 7 个方法给你!
|
1月前
|
C# UED SEO
C# 异步方法async / await任务超时处理
通过使用 `Task.WhenAny`和 `Task.Delay`方法,您可以在C#中有效地实现异步任务的超时处理机制。这种方法允许您在指定时间内等待任务完成,并在任务超时时采取适当的措施,如抛出异常或执行备用操作。希望本文提供的详细解释和代码示例能帮助您在实际项目中更好地处理异步任务超时问题,提升应用程序的可靠性和用户体验。
61 3
|
2月前
|
C#
C#的方法的参数传递
C#的方法的参数传递
25 0
|
2月前
|
数据可视化 程序员 C#
C#中windows应用窗体程序的输入输出方法实例
C#中windows应用窗体程序的输入输出方法实例
53 0
|
3月前
|
C#
C#一分钟浅谈:Lambda 表达式和匿名方法
本文详细介绍了C#编程中的Lambda表达式与匿名方法,两者均可用于定义无名函数,使代码更简洁易维护。文章通过基础概念讲解和示例对比,展示了各自语法特点,如Lambda表达式的`(parameters) =&gt; expression`形式及匿名方法的`delegate(parameters)`结构。并通过实例演示了两者的应用差异,强调了在使用Lambda时应注意闭包问题及其解决策略,推荐优先使用Lambda表达式以增强代码可读性。
48 8
|
2月前
|
XML 存储 缓存
C#使用XML文件的详解及示例
C#使用XML文件的详解及示例
110 0
|
4月前
|
图形学 C# 开发者
全面掌握Unity游戏开发核心技术:C#脚本编程从入门到精通——详解生命周期方法、事件处理与面向对象设计,助你打造高效稳定的互动娱乐体验
【8月更文挑战第31天】Unity 是一款强大的游戏开发平台,支持多种编程语言,其中 C# 最为常用。本文介绍 C# 在 Unity 中的应用,涵盖脚本生命周期、常用函数、事件处理及面向对象编程等核心概念。通过具体示例,展示如何编写有效的 C# 脚本,包括 Start、Update 和 LateUpdate 等生命周期方法,以及碰撞检测和类继承等高级技巧,帮助开发者掌握 Unity 脚本编程基础,提升游戏开发效率。
95 0
|
1月前
|
C# 开发者
C# 一分钟浅谈:Code Contracts 与契约编程
【10月更文挑战第26天】本文介绍了 C# 中的 Code Contracts,这是一个强大的工具,用于通过契约编程增强代码的健壮性和可维护性。文章从基本概念入手,详细讲解了前置条件、后置条件和对象不变量的使用方法,并通过具体代码示例进行了说明。同时,文章还探讨了常见的问题和易错点,如忘记启用静态检查、过度依赖契约和性能影响,并提供了相应的解决建议。希望读者能通过本文更好地理解和应用 Code Contracts。
33 3