需求描述
上周突然接到一个任务，要通过XX网站导出XX年-XX年之间的数据，导出后的文件名就是对应日期，导出后发现，有的文件大小是一样，文件名不同，随便打开文件看了下，发现竟然两个不同文件名的文件内容是重复的，原因暂时不清楚，预测是网站的原因，最后发现大概只有 30% 的数据没有重复。我淦！
啥也不说，首要任务还是把那些没有重复的文件给筛选出来，或是删除重复的文件。文件很多几百个，通过一个个的对比文件去删除估计又要加班，然后突然想到 Python 有个内置的 filecmp 能够貌似是比较文件的，话不多说，直接开整~
撸代码ing
导出的文件都是保存在同一文件夹下的，格式也相同。然后，看了一下官方文档中 filecmp.cmp() 的用法。大致总结如下：
filecmp.cmp(f1, f2, shallow=True)
f1/f2：待比较的两个文件路径。shallow：默认为True，即只比较os.stat()获取的元数据(创建时间，大小等信息)是否相同，设置为False的话，在对比文件的时候还要比较文件内容。
为了防止代码有问题，我先创建了一个 test 文件夹，在文件夹下手动创建了 6 个文件，1~5 中只有 1,2,3,4,5 对应的数字内容，第6个为空文件。
之后再将文件全部复制一份。如下
测试代码
from pathlib import Path import filecmp path_list = [path for path in Path(r'C:\Users\pc\Desktop\test').iterdir() if path.is_file()] for front in range(len(path_list) - 1): for later in range(front + 1, len(path_list)): if filecmp.cmp(path_list[front], path_list[later], shallow=False): path_list[front].unlink() # 删除文件 break 复制代码
运行效果
代码的整体逻辑十分简单，首先获取对应文件下的“所有文件”，这里“所有文件”指的是 test 目录下的第一级文件路径，如果 test 文件夹中有子文件夹，则不会获取子文件夹中的文件路径，同时由于指定了 path.is_file() ，所以 path_list 中只获取文件（txt、xlsx、csv、zip等）的路径。然后通过双层循环比较当前两个路径的文件内容是否相同，如果相同，则删除文件。
虽然代码量不多，但确实能够减少人工处理的时间，OK，完结撒花~
