fdupes:Linux 中查找并删除重复文件的命令行工具

简介:

对于大多数计算机用户而言,查找并替换重复的文件是一个常见的需求。查找并移除重复文件真是一项令人不胜其烦的工作,它耗时又耗力。但如果你的机器上跑着GNU/Linux,那么查找重复文件会变得十分简单,这多亏了fdupes工具。

fdupes——在Linux中查找并删除重复文件

fdupes——在Linux中查找并删除重复文件

fdupes是啥东东?

fdupes是Linux下的一个工具,它由Adrian Lopez用C编程语言编写并基于MIT许可证发行,该应用程序可以在指定的目录及子目录中查找重复的文件。fdupes通过对比文件的MD5签名,以及逐字节比较文件来识别重复内容,fdupes有各种选项,可以实现对文件的列出、删除、替换为文件副本的硬链接等操作。

文件对比以下列顺序开始:

大小对比 > 部分 MD5 签名对比 > 完整 MD5 签名对比 > 逐字节对比

安装 fdupes 到 Linux

在基于Debian的系统上,如UbuntuLinux Mint,安装最新版fdupes,用下面的命令手到擒来。


 
 
  1. $ sudo apt-get install fdupes

在基于CentOS/RHEL和Fedora的系统上,你需要开启epel仓库来安装fdupes包。


 
 
  1. # yum install fdupes
  2. # dnf install fdupes [在 Fedora 22 及其以后]

注意:自Fedora 22之后,默认的包管理器yum被dnf取代了。

fdupes命令如何使用

1、 作为演示的目的,让我们来在某个目录(比如 tecmint)下创建一些重复文件,命令如下:


 
 
  1. $ mkdir /home/"$USER"/Desktop/tecmint && cd /home/"$USER"/Desktop/tecmint && for i in {1..15}; do echo "I Love Tecmint. Tecmint is a very nice community of Linux Users." > tecmint${i}.txt ; done

在执行以上命令后,让我们使用ls命令验证重复文件是否创建。


 
 
  1. $ ls -l
  2. total 60
  3. -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint10.txt
  4. -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint11.txt
  5. -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint12.txt
  6. -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint13.txt
  7. -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint14.txt
  8. -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint15.txt
  9. -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint1.txt
  10. -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint2.txt
  11. -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint3.txt
  12. -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint4.txt
  13. -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint5.txt
  14. -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint6.txt
  15. -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint7.txt
  16. -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint8.txt
  17. -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint9.txt

上面的脚本创建了15个文件,名称分别为tecmint1.txt,tecmint2.txt……tecmint15.txt,并且每个文件的数据相同,如


 
 
  1. "I Love Tecmint. Tecmint is a very nice community of Linux Users."

2、 现在在tecmint文件夹内搜索重复的文件。


 
 
  1. $ fdupes /home/$USER/Desktop/tecmint
  2. /home/tecmint/Desktop/tecmint/tecmint13.txt
  3. /home/tecmint/Desktop/tecmint/tecmint8.txt
  4. /home/tecmint/Desktop/tecmint/tecmint11.txt
  5. /home/tecmint/Desktop/tecmint/tecmint3.txt
  6. /home/tecmint/Desktop/tecmint/tecmint4.txt
  7. /home/tecmint/Desktop/tecmint/tecmint6.txt
  8. /home/tecmint/Desktop/tecmint/tecmint7.txt
  9. /home/tecmint/Desktop/tecmint/tecmint9.txt
  10. /home/tecmint/Desktop/tecmint/tecmint10.txt
  11. /home/tecmint/Desktop/tecmint/tecmint2.txt
  12. /home/tecmint/Desktop/tecmint/tecmint5.txt
  13. /home/tecmint/Desktop/tecmint/tecmint14.txt
  14. /home/tecmint/Desktop/tecmint/tecmint1.txt
  15. /home/tecmint/Desktop/tecmint/tecmint15.txt
  16. /home/tecmint/Desktop/tecmint/tecmint12.txt

3、 使用-r选项在每个目录包括其子目录中递归搜索重复文件。

它会递归搜索所有文件和文件夹,花一点时间来扫描重复文件,时间的长短取决于文件和文件夹的数量。在此其间,终端中会显示全部过程,像下面这样。


 
 
  1. $ fdupes -r /home
  2. Progress [37780/54747] 69%

4、 使用-S选项来查看某个文件夹内找到的重复文件的大小。


 
 
  1. $ fdupes -S /home/$USER/Desktop/tecmint
  2. 65 bytes each:
  3. /home/tecmint/Desktop/tecmint/tecmint13.txt
  4. /home/tecmint/Desktop/tecmint/tecmint8.txt
  5. /home/tecmint/Desktop/tecmint/tecmint11.txt
  6. /home/tecmint/Desktop/tecmint/tecmint3.txt
  7. /home/tecmint/Desktop/tecmint/tecmint4.txt
  8. /home/tecmint/Desktop/tecmint/tecmint6.txt
  9. /home/tecmint/Desktop/tecmint/tecmint7.txt
  10. /home/tecmint/Desktop/tecmint/tecmint9.txt
  11. /home/tecmint/Desktop/tecmint/tecmint10.txt
  12. /home/tecmint/Desktop/tecmint/tecmint2.txt
  13. /home/tecmint/Desktop/tecmint/tecmint5.txt
  14. /home/tecmint/Desktop/tecmint/tecmint14.txt
  15. /home/tecmint/Desktop/tecmint/tecmint1.txt
  16. /home/tecmint/Desktop/tecmint/tecmint15.txt
  17. /home/tecmint/Desktop/tecmint/tecmint12.txt

5、 你可以同时使用-S-r选项来查看所有涉及到的目录和子目录中的重复文件的大小,如下:


 
 
  1. $ fdupes -Sr /home/avi/Desktop/
  2. 65 bytes each:
  3. /home/tecmint/Desktop/tecmint/tecmint13.txt
  4. /home/tecmint/Desktop/tecmint/tecmint8.txt
  5. /home/tecmint/Desktop/tecmint/tecmint11.txt
  6. /home/tecmint/Desktop/tecmint/tecmint3.txt
  7. /home/tecmint/Desktop/tecmint/tecmint4.txt
  8. /home/tecmint/Desktop/tecmint/tecmint6.txt
  9. /home/tecmint/Desktop/tecmint/tecmint7.txt
  10. /home/tecmint/Desktop/tecmint/tecmint9.txt
  11. /home/tecmint/Desktop/tecmint/tecmint10.txt
  12. /home/tecmint/Desktop/tecmint/tecmint2.txt
  13. /home/tecmint/Desktop/tecmint/tecmint5.txt
  14. /home/tecmint/Desktop/tecmint/tecmint14.txt
  15. /home/tecmint/Desktop/tecmint/tecmint1.txt
  16. /home/tecmint/Desktop/tecmint/tecmint15.txt
  17. /home/tecmint/Desktop/tecmint/tecmint12.txt
  18. 107 bytes each:
  19. /home/tecmint/Desktop/resume_files/r-csc.html
  20. /home/tecmint/Desktop/resume_files/fc.html

6、 不同于在一个或所有文件夹内递归搜索,你可以选择按要求有选择性地在两个或三个文件夹内进行搜索。不必再提醒你了吧,如有需要,你可以使用-S和/或-r选项。


 
 
  1. $ fdupes /home/avi/Desktop/ /home/avi/Templates/

7、 要删除重复文件,同时保留一个副本,你可以使用-d选项。使用该选项,你必须额外小心,否则最终结果可能会是文件/数据的丢失。郑重提醒,此操作不可恢复。


 
 
  1. $ fdupes -d /home/$USER/Desktop/tecmint
  2. [1] /home/tecmint/Desktop/tecmint/tecmint13.txt
  3. [2] /home/tecmint/Desktop/tecmint/tecmint8.txt
  4. [3] /home/tecmint/Desktop/tecmint/tecmint11.txt
  5. [4] /home/tecmint/Desktop/tecmint/tecmint3.txt
  6. [5] /home/tecmint/Desktop/tecmint/tecmint4.txt
  7. [6] /home/tecmint/Desktop/tecmint/tecmint6.txt
  8. [7] /home/tecmint/Desktop/tecmint/tecmint7.txt
  9. [8] /home/tecmint/Desktop/tecmint/tecmint9.txt
  10. [9] /home/tecmint/Desktop/tecmint/tecmint10.txt
  11. [10] /home/tecmint/Desktop/tecmint/tecmint2.txt
  12. [11] /home/tecmint/Desktop/tecmint/tecmint5.txt
  13. [12] /home/tecmint/Desktop/tecmint/tecmint14.txt
  14. [13] /home/tecmint/Desktop/tecmint/tecmint1.txt
  15. [14] /home/tecmint/Desktop/tecmint/tecmint15.txt
  16. [15] /home/tecmint/Desktop/tecmint/tecmint12.txt
  17. Set 1 of 1, preserve files [1 - 15, all]:

你可能注意到了,所有重复的文件被列了出来,并给出删除提示,一个一个来,或者指定范围,或者一次性全部删除。你可以选择一个范围,就像下面这样,来删除指定范围内的文件。


 
 
  1. Set 1 of 1, preserve files [1 - 15, all]: 2-15
  2. [-] /home/tecmint/Desktop/tecmint/tecmint13.txt
  3. [+] /home/tecmint/Desktop/tecmint/tecmint8.txt
  4. [-] /home/tecmint/Desktop/tecmint/tecmint11.txt
  5. [-] /home/tecmint/Desktop/tecmint/tecmint3.txt
  6. [-] /home/tecmint/Desktop/tecmint/tecmint4.txt
  7. [-] /home/tecmint/Desktop/tecmint/tecmint6.txt
  8. [-] /home/tecmint/Desktop/tecmint/tecmint7.txt
  9. [-] /home/tecmint/Desktop/tecmint/tecmint9.txt
  10. [-] /home/tecmint/Desktop/tecmint/tecmint10.txt
  11. [-] /home/tecmint/Desktop/tecmint/tecmint2.txt
  12. [-] /home/tecmint/Desktop/tecmint/tecmint5.txt
  13. [-] /home/tecmint/Desktop/tecmint/tecmint14.txt
  14. [-] /home/tecmint/Desktop/tecmint/tecmint1.txt
  15. [-] /home/tecmint/Desktop/tecmint/tecmint15.txt
  16. [-] /home/tecmint/Desktop/tecmint/tecmint12.txt

8、 从安全角度出发,你可能想要打印fdupes的输出结果到文件中,然后检查文本文件来决定要删除什么文件。这可以降低意外删除文件的风险。你可以这么做:


 
 
  1. $ fdupes -Sr /home > /home/fdupes.txt

注意:你应该替换/home为你想要的文件夹。同时,如果你想要递归搜索并打印大小,可以使用-r-S选项。

9、 你可以使用-f选项来忽略每个匹配集中的首个文件。

首先列出该目录中的文件。


 
 
  1. $ ls -l /home/$USER/Desktop/tecmint
  2. total 20
  3. -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint9 (3rd copy).txt
  4. -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint9 (4th copy).txt
  5. -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint9 (another copy).txt
  6. -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint9 (copy).txt
  7. -rw-r--r-- 1 tecmint tecmint 65 Aug 8 11:22 tecmint9.txt

然后,忽略掉每个匹配集中的首个文件。


 
 
  1. $ fdupes -f /home/$USER/Desktop/tecmint
  2. /home/tecmint/Desktop/tecmint9 (copy).txt
  3. /home/tecmint/Desktop/tecmint9 (3rd copy).txt
  4. /home/tecmint/Desktop/tecmint9 (another copy).txt
  5. /home/tecmint/Desktop/tecmint9 (4th copy).txt

10、 检查已安装的fdupes版本。


 
 
  1. $ fdupes --version
  2. fdupes 1.51

11、 如果你需要关于fdupes的帮助,可以使用-h开关。


 
 
  1. $ fdupes -h
  2. Usage: fdupes [options] DIRECTORY...
  3. -r --recurse for every directory given follow subdirectories
  4. encountered within
  5. -R --recurse: for each directory given after this option follow
  6. subdirectories encountered within (note the ':' at
  7. the end of the option, manpage for more details)
  8. -s --symlinks follow symlinks
  9. -H --hardlinks normally, when two or more files point to the same
  10. disk area they are treated as non-duplicates; this
  11. option will change this behavior
  12. -n --noempty exclude zero-length files from consideration
  13. -A --nohidden exclude hidden files from consideration
  14. -f --omitfirst omit the first file in each set of matches
  15. -1 --sameline list each set of matches on a single line
  16. -S --size show size of duplicate files
  17. -m --summarize summarize dupe information
  18. -q --quiet hide progress indicator
  19. -d --delete prompt user for files to preserve and delete all
  20. others; important: under particular circumstances,
  21. data may be lost when using this option together
  22. with -s or --symlinks, or when specifying a
  23. particular directory more than once; refer to the
  24. fdupes documentation for additional information
  25. -N --noprompt together with --delete, preserve the first file in
  26. each set of duplicates and delete the rest without
  27. prompting the user
  28. -v --version display fdupes version
  29. -h --help display this help message

到此为止了。让我知道你以前怎么在Linux中查找并删除重复文件的吧?同时,也让我知道你关于这个工具的看法。在下面的评论部分中提供你有价值的反馈吧,别忘了为我们点赞并分享,帮助我们扩散哦。


本文来自云栖社区合作伙伴“Linux中国”,原文发布日期:2015-09-01

目录
相关文章
|
6月前
|
Linux 开发工具
7种比较Linux中文本文件的最佳工具
7种比较Linux中文本文件的最佳工具
7种比较Linux中文本文件的最佳工具
|
4月前
|
存储 数据管理 Linux
区分Linux中.tar文件与.tar.gz文件的不同。
总之,".tar"文件提供了一种方便的文件整理方式,其归档但不压缩的特点适用于快速打包和解压,而".tar.gz"文件通过额外的压缩步骤,尽管处理时间更长,但可以减小文件尺寸,更适合于需要节约存储空间或进行文件传输的场景。用户在选择时应根据具体需求,考虑两种格式各自的优劣。
718 13
|
5月前
|
安全 Linux
Linux赋予文件000权限的恢复技巧
以上这些步骤就像是打开一扇锁住的门,步骤看似简单,但是背后却有着严格的逻辑和规则。切记,在任何时候,变更文件权限都要考虑安全性,不要无谓地放宽权限,那样可能
192 16
|
6月前
|
Linux
【Linux】 Linux文件I/O常见操作技巧
以上就是Linux文件I/O操作的一些技巧,接纳它们,让它们成为你在Linux世界中的得力伙伴,工作会变得轻松许多。不过记住,技巧的运用也需要根据实际情况灵活掌握,毕竟,最适合的才是最好的。
211 28
|
5月前
|
存储 Linux 数据处理
深入剖析Linux中一切即文件的哲学和重定向的机制
在计算机的奇妙世界中,Linux的这套哲学和机制减少了不同类型资源的处理方式,简化了抽象的概念,并蕴藏着强大的灵活性。就像变戏法一样,轻轻松松地在文件、程序与设备之间转换数据流,标准输入、输出、错误流就在指尖舞动,程序的交互和数据处理因此变得既高效又富有乐趣。
104 4
|
6月前
|
Ubuntu Linux
"unzip"命令解析:Linux下如何处理压缩文件。
总的来说,`unzip`命令是Linux系统下一款实用而方便的ZIP格式文件处理工具。本文通过简明扼要的方式,详细介绍了在各类Linux发行版上安装 `unzip`的方法,以及如何使用 `unzip`命令进行解压、查看和测试ZIP文件。希望本文章能为用户带来实际帮助,提高日常操作的效率。
901 12
|
7月前
|
Linux Shell
Linux系统下快速批量创建和删除文件的方法
总的来说,使用shell脚本来批量处理文件是一种非常强大的工具,只要你愿意花时间学习和实践,你会发现它能大大提高你的工作效率。
437 19
|
5月前
|
Linux
linux文件重命名命令
本指南介绍Linux文件重命名方法,包括单文件操作的`mv`命令和批量处理的`rename`命令。`mv`可简单更改文件名并保留扩展名,如`mv old_file.txt new_name.txt`;`rename`支持正则表达式,适用于复杂批量操作,如`rename 's/2023/2024/' *.log`。提供实用技巧如大小写转换、数字序列处理等,并提醒覆盖风险与版本差异,建议使用`-n`参数预览效果。
|
8月前
|
监控 Linux
Linux基础:文件和目录类命令分析。
总的来说,这些基础命令,像是Linux中藏匿的小矮人,每一次我们使用他们,他们就把我们的指令准确的传递给Linux,让我们的指令变为现实。所以,现在就开始你的Linux之旅,挥动你的命令之剑,探索这个充满神秘而又奇妙的世界吧!
163 19
|
7月前
|
缓存 Linux
如何创建Linux交换文件?Linux交换文件最新创建方法
Swap是Linux中的虚拟内存空间,用于在物理内存不足时将非活动进程移至磁盘,从而优化活动进程的性能。通过创建交换文件(如1GB),可灵活调整交换空间而无需重新分区。步骤包括:使用`fallocate`或`dd`创建文件、设置权限 (`chmod 600`)、格式化 (`mkswap`)、启用交换 (`swapon`)、修改`/etc/fstab`以持久化配置,以及调整`vm.swappiness`值(默认60,建议从10开始)来平衡内存与交换的使用。最后通过`swapon -s`检查状态并重启生效。此方法适用于VPS和专用服务器,需以root用户操作。
221 2