python3 文件去重-阿里云开发者社区

开发者社区> 开发与运维> 正文
登录阅读全文

python3 文件去重

简介:
import hashlib
import os


class DirProc():
    def __init__(self):
        self.main_dir = "C://software//导数据//mtm//imgs"

    def md5(self, fname):
        if os.path.exists(fname):
            hash_md5 = hashlib.md5()
            with open(fname, "rb") as f:
                for chunk in iter(lambda: f.read(4096), b""):
                    hash_md5.update(chunk)
            return hash_md5.hexdigest()

    def remove(self, fpath1, fpath2):
        md51 = self.md5(fpath1)
        md52 = self.md5(fpath2)
        if md51 == md52:
            os.remove(fpath1)
            print("去重", fpath1)

    def remove_duplicate(self):
        dir_list = os.listdir(self.main_dir)
        for name in dir_list:
            sub_dir = self.main_dir + "//" + name;
            file_list = os.listdir(sub_dir)
            for fname in file_list:
                for sub_fname in file_list:
                    if fname == sub_fname:
                        continue
                    f_dir = sub_dir + "//" + fname;
                    f_sub_dir = sub_dir + "//" + sub_fname;
                    self.remove(f_dir, f_sub_dir)


dirProc = DirProc()
dirProc.remove_duplicate()

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
开发与运维
使用钉钉扫一扫加入圈子
+ 订阅

集结各类场景实战经验,助你开发运维畅行无忧

其他文章