10 行 Python 代码实现,电脑自动清理电脑内重复文件

简介: 给定一个文件夹,使用 Python 检查给定文件夹下有无文件重复,若存在重复则删除。主要涉及的知识点有:os 模块综合应用glob 模块综合应用利用 filecmp 模块比较两个文件

image.png
给定一个文件夹,使用 Python 检查给定文件夹下有无文件重复,若存在重复则删除。

主要涉及的知识点有:

os 模块综合应用
glob 模块综合应用
利用 filecmp 模块比较两个文件
步骤分析
该程序实现的逻辑可以具化为:

遍历获取给定文件夹下的所有文件,然后通过嵌套循环两两比较文件是否相同,如果相同则删除后者。

实现问题的关键就变成了:point_down:

如何判断两个文件是否相同?
在这里我们可以使用 filecmp 模块,来看看官方的介绍文档:

filecmp.cmp(f1, f2, shallow=True)
比较名为 f1 和 f2 的文件,如果它们似乎相等则返回 True ,否则返回 False
如果 shallow 为真,那么具有相同 os.stat () 签名的文件将会被认为是相等的。否则,将比较文件的内容。
所以可以这样使用:point_down:

假设x和y两个文件是相同的

print(filecmp.cmp(x, y))

True

解决了这个问题,我们就可以开始写代码了!

Python 实现
导入需要的库并设置目标文件夹路径

import os
import glob
import filecmp

dir_path = r'C:\xxxx'
接着遍历获取所有文件的 绝对路径 ,我们可以利用 glob 模块的通配符结合 recursive 参数即可完成,框架如下:

for file in glob.glob(path + '/*/', recursive=True):

pass

由于遍历获取每一个文件或者文件夹后,需要判断是否是文件,如果是文件则可能将绝对路径存放到列表中,这里需要再完成两个事情:

首先创建一个空列表,后面用 list.append (i) 添加文件路径
接着利用 os.path.isfile (i) 判断是否是文件,返回 True 则执行添加元素的操作
具体代码如下

file_lst = []

for i in glob.glob(dir_path + '/*/', recursive=True):

if os.path.isfile(i):
    file_lst.append(i)

上一步我们获取了目标文件夹下的所有文件路径,接下来就可以嵌套遍历这个路径列表,其中 filecmp.cmp 进行文件判断, os.remove 进行文件删除

for x in file_lst:

for y in file_lst:
    if x != y:
        if filecmp.cmp(x, y):
            os.remove(y)

这里的代码已经实现了大致逻辑,但有一个细节需要考虑到:有可能循环到文件已经被前面的判断删除了,导致 os.remove (file) 由于文件不存在而报错

因此,可以用 os.path.exists 对文件存在进行判断,如下所示:

for x in file_lst:

for y in file_lst:
    if x != y and os.path.exists(x) and os.path.exists(y):
        if filecmp.cmp(x, y):
            os.remove(y)

这样,一个简易的文件去重小程序就完成了,完整代码如下:

import os
import glob
import filecmp

dir_path = r'C:\xxxx'

file_lst = []

for i in glob.glob(dir_path + '/*/', recursive=True):

if os.path.isfile(i):
    file_lst.append(i)

for x in file_lst:

for y in file_lst:
    if x != y and os.path.exists(x) and os.path.exists(y):
        if filecmp.cmp(x, y):
            os.remove(y)

最后
通过本文的 Python 自动化脚本制作过程,我们可以再次体会 Python 办公自动化的强大,同时本次实现的功能可以和之前自动整理文件的脚本结合使用!

如果对本文的代码和数据感兴趣可以在后台回复自动化获取。最后还是希望大家能够理解 Python 办公自动化的一个核心就是批量操作解放双手,让复杂的工作自动化!

相关文章
|
3月前
|
运维 监控 算法
时间序列异常检测:MSET-SPRT组合方法的原理和Python代码实现
MSET-SPRT是一种结合多元状态估计技术(MSET)与序贯概率比检验(SPRT)的混合框架,专为高维度、强关联数据流的异常检测设计。MSET通过历史数据建模估计系统预期状态,SPRT基于统计推断判定偏差显著性,二者协同实现精准高效的异常识别。本文以Python为例,展示其在模拟数据中的应用,证明其在工业监控、设备健康管理及网络安全等领域的可靠性与有效性。
656 13
时间序列异常检测:MSET-SPRT组合方法的原理和Python代码实现
|
11天前
|
机器学习/深度学习 人工智能 PyTorch
200行python代码实现从Bigram模型到LLM
本文从零基础出发,逐步实现了一个类似GPT的Transformer模型。首先通过Bigram模型生成诗词,接着加入Positional Encoding实现位置信息编码,再引入Single Head Self-Attention机制计算token间的关系,并扩展到Multi-Head Self-Attention以增强表现力。随后添加FeedForward、Block结构、残差连接(Residual Connection)、投影(Projection)、层归一化(Layer Normalization)及Dropout等组件,最终调整超参数完成一个6层、6头、384维度的“0.0155B”模型
200行python代码实现从Bigram模型到LLM
|
11天前
|
机器学习/深度学习 算法 PyTorch
从零开始200行python代码实现LLM
本文从零开始用Python实现了一个极简但完整的大语言模型,帮助读者理解LLM的工作原理。首先通过传统方法构建了一个诗词生成器,利用字符间的概率关系递归生成文本。接着引入PyTorch框架,逐步重构代码,实现了一个真正的Bigram模型。文中详细解释了词汇表(tokenizer)、张量(Tensor)、反向传播、梯度下降等关键概念,并展示了如何用Embedding层和线性层搭建模型。最终实现了babyGPT_v1.py,一个能生成类似诗词的简单语言模型。下一篇文章将在此基础上实现自注意力机制和完整的GPT模型。
从零开始200行python代码实现LLM
|
1月前
|
数据采集 运维 API
把Postman调试脚本秒变Python采集代码的三大技巧
本文介绍了如何借助 Postman 调试工具快速生成 Python 爬虫代码,并结合爬虫代理实现高效数据采集。文章通过“跨界混搭”结构,先讲解 Postman 的 API 调试功能,再映射到 Python 爬虫技术,重点分享三大技巧:利用 Postman 生成请求骨架、通过 Session 管理 Cookie 和 User-Agent,以及集成代理 IP 提升稳定性。以票务信息采集为例,展示完整实现流程,探讨其在抗封锁、团队协作等方面的价值,帮助开发者快速构建生产级爬虫代码。
把Postman调试脚本秒变Python采集代码的三大技巧
|
2月前
|
Python
使用Python实现multipart/form-data文件接收的http服务器
至此,使用Python实现一个可以接收 'multipart/form-data' 文件的HTTP服务器的步骤就讲解完毕了。希望通过我的讲解,你可以更好地理解其中的逻辑,另外,你也可以尝试在实际项目中运用这方面的知识。
174 69
|
21天前
|
数据采集 存储 NoSQL
Python爬虫Cookie管理最佳实践:存储、清理与轮换
Python爬虫Cookie管理最佳实践:存储、清理与轮换
|
20天前
|
机器学习/深度学习 算法 测试技术
图神经网络在信息检索重排序中的应用:原理、架构与Python代码解析
本文探讨了基于图的重排序方法在信息检索领域的应用与前景。传统两阶段检索架构中,初始检索速度快但结果可能含噪声,重排序阶段通过强大语言模型提升精度,但仍面临复杂需求挑战
53 0
图神经网络在信息检索重排序中的应用:原理、架构与Python代码解析
|
22天前
|
存储 机器学习/深度学习 人工智能
多模态RAG实战指南:完整Python代码实现AI同时理解图片、表格和文本
本文探讨了多模态RAG系统的最优实现方案,通过模态特定处理与后期融合技术,在性能、准确性和复杂度间达成平衡。系统包含文档分割、内容提取、HTML转换、语义分块及向量化存储五大模块,有效保留结构和关系信息。相比传统方法,该方案显著提升了复杂查询的检索精度(+23%),并支持灵活升级。文章还介绍了查询处理机制与优势对比,为构建高效多模态RAG系统提供了实践指导。
203 0
多模态RAG实战指南:完整Python代码实现AI同时理解图片、表格和文本
|
2月前
|
Shell 开发者 Docker
Python文件打包:一站式指南
本文深入探讨Python文件打包的各种方法,从基础的zip和tar工具到高级的setuptools、PyInstaller、cx_Freeze等,涵盖Docker镜像、虚拟环境及自包含可执行文件的打包方式。通过示例代码与详细解析,帮助开发者根据项目需求选择合适的打包方案,提升代码分发与部署效率。内容全面,适合各水平读者学习参考。
148 7
|
2月前
|
开发框架 Java .NET
Python中main函数:代码结构的基石
在Python中,`main`函数是程序结构化和模块化的重要组成部分。它实现了脚本执行与模块导入的分离,避免全局作用域污染并提升代码复用性。其核心作用包括:标准化程序入口、保障模块复用及支持测试驱动开发(TDD)。根据项目复杂度,`main`函数有基础版、函数封装版、参数解析版和类封装版四种典型写法。 与其他语言相比,Python的`main`机制更灵活,支持同一文件作为脚本运行或模块导入。进阶技巧涵盖多文件项目管理、命令行参数处理、环境变量配置及日志集成等。此外,还需注意常见错误如全局变量污染和循环导入,并通过延迟加载、多进程支持和类型提示优化性能。
202 0

热门文章

最新文章

推荐镜像

更多