fdupes 删除指定目录下重复文件

简介:
简介:
我们怎么使用SEHLL 和命令行去删除 指定目录下的重复文件?
我们怎么删除不同目录下重复的文件?
我们将使用一个工具:fdupes ,它会查找和删除指定目录的重复文件,它通过文件的大小和MD5值进行比较 。一个字节一个字节进行对比。fdupes是一个删除指定目录下重复文件的好工具。 

Install fdupes  
如果你使用debian/ubuntu linux 
# apt-get install fdupes


如果你使用 redhat/rhel/fedota/centos 你可以使用rpm包安装或yum
rpm :  http://www.cyberciti.biz/faq/rhel-centos-fedora-media-mp3-players-installtion/
yum install fdupes

fdupes 怎么工作?
在 /etc目录查找重复文件 
#fdupes /etc

结果
/etc/vimrc
/etc/virc


删除不需要的文件? (用此可以查找磁盘上多余的文件--当空间不足时)
测试一下:
cp /etc/vimrc /etc/virc /tmp/test

# fdupes -d /tmp/a/
[1] /tmp/a/vimrc                                                
[2] /tmp/a/virc

Set 1 of 1, preserve files [1 - 2, all]: 1

     [+] /tmp/a/vimrc
     [-] /tmp/a/virc
(只选择删除其中一个,保留一个)
再查找一下
# fdupes /tmp/a/ 
查找结果为空

递归查询命令: -r 
exp: fdupes -r /etc/ /data/etc/ 

查看重复文件的大小
# fdupes -S /etc             
1533 bytes each:                                                
/etc/vimrc
/etc/virc

更多命令见:man page fdupes 

与Sed 结合 删除一些不必要的文件 :
fdupes -r -n -S /directory | sed -r “s/^/#rm \”/” | sed -r “s/$/\”/” >duplicate-files.sh



本文转自守住每一天51CTO博客,原文链接:http://blog.51cto.com/liuyu/275288,如需转载请自行联系原作者

相关文章
|
8月前
|
存储 人工智能 自然语言处理
Cursor这类编程Agent软件的模型架构与工作流程
编程Agent的核心是一个强大的大语言模型,负责理解用户意图并生成相应的代码和解决方案。这些模型通过海量文本和代码数据的训练,掌握了广泛的编程知识和语言理解能力。
745 1
|
网络协议 Java Linux
PyAV学习笔记(一):PyAV简介、安装、基础操作、python获取RTSP(海康)的各种时间戳(rtp、dts、pts)
本文介绍了PyAV库,它是FFmpeg的Python绑定,提供了底层库的全部功能和控制。文章详细讲解了PyAV的安装过程,包括在Windows、Linux和ARM平台上的安装步骤,以及安装中可能遇到的错误和解决方法。此外,还解释了时间戳的概念,包括RTP、NTP、PTS和DTS,并提供了Python代码示例,展示如何获取RTSP流中的各种时间戳。最后,文章还提供了一些附录,包括Python通过NTP同步获取时间的方法和使用PyAV访问网络视频流的技巧。
3145 4
PyAV学习笔记(一):PyAV简介、安装、基础操作、python获取RTSP(海康)的各种时间戳(rtp、dts、pts)
|
人工智能 Python
beets,一个有趣的 Python 音乐信息管理工具!
beets,一个有趣的 Python 音乐信息管理工具!
361 4
|
自然语言处理
N-Gram模型是什么?
N-Gram模型是什么?
529 0
|
监控
如何管理好商标?商标监控来帮您!
阿里云商标监控限时免费体验
869 0
如何管理好商标?商标监控来帮您!
yolov5--datasets.py --v5.0版本-数据集加载 最新代码详细解释2021-7-5更新
yolov5--datasets.py --v5.0版本-数据集加载 最新代码详细解释2021-7-5更新
566 0
|
测试技术 Android开发
Magisk模块-神仙自动救砖-防冻版(玩机必备)
模块功能 由某些面具模块导致你手机无法开机的情况,刷入该模块后,你无需手动任何设置自动帮你禁用所有面具模块,让你成功开机。 效果:加入完整测试用例,模块块非常稳定,现有代码不要随意更改,有测试安装10和安卓11。
7241 0
Magisk模块-神仙自动救砖-防冻版(玩机必备)
mac命令行安装应用
Mac通过命令行安装ipa包到ios手机,可以在终端通过第三方库libimobiledevice安装。libimobiledevice 是一个跨平台的软件库,支持 iPhone, iPod Touch, iPad and Apple TV等设备的通讯协议,不需要越狱。
|
存储 Dart 数据管理
Flutter笔记:目录与文件存储以及在Flutter中的使用(上)
Flutter笔记:目录与文件存储以及在Flutter中的使用(上)
940 0