使用Python实现批量文件的压缩处理

简介: 使用Python实现批量文件的压缩处理

在Python中,我们可以使用zipfile模块来创建和读取ZIP文件。为了批量压缩文件,我们需要遍历某个目录下的所有文件,并将它们添加到一个ZIP文件中。以下是一个简单的示例,演示如何使用Python实现这一目标。

首先,确保你已经安装了Python,并且可以在命令行中运行Python脚本

步骤1:打开命令行终端

在开始之前,请确保你已经打开了命令行终端(Windows中的命令提示符或Mac中的终端)。

步骤2:创建一个新的Python脚本

在命令行终端中,导航到要创建新Python脚本的目录,然后运行以下命令来创建一个新文件:

touch batch_file_compression.py

步骤3:编辑脚本

使用你喜欢的文本编辑器打开batch_file_compression.py文件,并添加以下代码:

import os  
import zipfile  
from datetime import datetime  
  
def batch_compress_files(directory, output_filename):  
    # 创建ZIP文件对象  
    with zipfile.ZipFile(output_filename, 'w', zipfile.ZIP_DEFLATED) as zipf:  
        # 遍历指定目录下的所有文件和子目录  
        for root, dirs, files in os.walk(directory):  
            for file in files:  
                # 构造文件的完整路径  
                file_path = os.path.join(root, file)  
                # 将文件添加到ZIP文件中  
                zipf.write(file_path, arcname=os.path.relpath(file_path, directory))  
        print(f"已将目录 {directory} 中的所有文件压缩为 {output_filename}")  
        print(f"压缩完成时间: {datetime.now()}")  
  
# 调用函数,指定要压缩的目录和输出ZIP文件的名称  
batch_compress_files('path/to/your/directory', 'output_archive.zip')

步骤4:保存并运行脚本

保存文件后,返回命令行终端,并运行以下命令来执行脚本:

python batch_file_compression.py

这个脚本将会遍历指定目录下的所有文件和子目录,并将它们添加到一个ZIP文件中。你可以根据需要修改batch_compress_files函数中的directory和output_filename参数,以适应你的实际情况。这个脚本会生成一个名为"output_archive.zip"的压缩文件,其中包含指定目录下的所有文件和子目录。

步骤5:添加密码保护

为了增加文件的安全性,你可以选择为ZIP文件添加密码保护。可以通过在ZipFile构造函数中添加password参数来实现这一目标。以下是添加密码保护的示例代码:

batch_compress_files('path/to/your/directory', 'output_archive.zip', 'your_password')

在上面的代码中,我们向batch_compress_files函数添加了一个新的参数password,用于设置ZIP文件的密码。

def batch_compress_files(directory, output_filename, password):  
    # 创建ZIP文件对象并设置密码  
    with zipfile.ZipFile(output_filename, 'w', zipfile.ZIP_DEFLATED, password=password) as zipf:  
        # 遍历指定目录下的所有文件和子目录  
        for root, dirs, files in os.walk(directory):  
            for file in files:  
                # 构造文件的完整路径  
                file_path = os.path.join(root, file)  
                # 将文件添加到ZIP文件中  
                zipf.write(file_path, arcname=os.path.relpath(file_path, directory))  
        print(f"已将目录 {directory} 中的所有文件压缩为 {output_filename}")  
        print(f"压缩完成时间: {datetime.now()}")

通过添加密码参数,你可以设置一个密码来保护ZIP文件,增加其安全性。

步骤6:压缩文件选择

如果你只想压缩指定的文件,而不是整个目录,你可以修改脚本以选择要压缩的文件。以下是一个示例代码片段,演示如何选择要压缩的文件:

def batch_compress_files(directory, output_filename, file_extensions):  
    # 创建ZIP文件对象  
    with zipfile.ZipFile(output_filename, 'w', zipfile.ZIP_DEFLATED) as zipf:  
        # 遍历指定目录下的所有文件和子目录  
        for root, dirs, files in os.walk(directory):  
            for file in files:  
                # 检查文件扩展名是否匹配指定的扩展名列表  
                if os.path.splitext(file)[1] in file_extensions:  
                    file_path = os.path.join(root, file)  
                    # 将文件添加到ZIP文件中  
                    zipf.write(file_path, arcname=os.path.relpath(file_path, directory))  
        print(f"已将目录 {directory} 中符合扩展名的文件压缩为 {output_filename}")  
        print(f"压缩完成时间: {datetime.now()}")

在上面的代码中,我们向batch_compress_files函数添加了一个新的参数file_extensions,它是一个包含要选择的文件扩展名的列表。然后,在脚本中检查文件的扩展名是否在指定的扩展名列表中,如果是,则将其添加到ZIP文件中。你可以根据需要修改file_extensions参数来选择要压缩的文件。通过这种方式,你可以控制要压缩的文件类型,从而只压缩你感兴趣的文件。

步骤7:错误处理和日志记录

在批处理脚本中添加错误处理和日志记录是非常重要的,以便在出现问题时能够提供有关错误的详细信息。以下是一个示例代码片段,演示如何添加错误处理和日志记录:

首先,我们创建一个日志文件来记录脚本的运行情况:

log_file = 'compression.log'  
with open(log_file, 'w') as log:  
    try:  
        batch_compress_files('path/to/your/directory', 'output_archive.zip')  
        log.write('文件压缩成功!\n')  
    except Exception as e:  
        log.write(f'发生错误:{str(e)}\n')

步骤8:优化性能

在处理大量文件或大型文件时,脚本可能会占用较多的系统资源。为了优化性能,你可以采取以下措施:

  • 使用多线程或异步处理:通过将压缩任务分配给多个线程或异步任务,可以同时处理多个文件,从而提高压缩速度。你可以使用Python的threading或asyncio模块来实现多线程或异步处理。
  • 优化文件访问方式:在遍历目录和读取文件时,可以使用更高效的文件访问方式,如os.scandir()函数代替os.walk()函数。os.scandir()函数返回一个迭代器,可以更快地遍历目录中的文件。
  • 使用更快的压缩算法:根据需要压缩的文件类型和大小,你可以选择使用不同的压缩算法。例如,对于大型文件或图片,可以使用zipfile.ZIP_STORED算法,它比默认的zipfile.ZIP_DEFLATED算法更快。
  • 限制CPU使用率和内存占用:在处理大量文件时,可以通过限制CPU使用率和内存占用,来避免系统资源的过度消耗。你可以使用Python的psutil模块来监控和限制CPU和内存的使用情况。
  • 通过以上措施,你可以优化脚本的性能,使其在处理大量文件或大型文件时更加高效和可靠。

总结

通过以上步骤,你已经了解如何使用Python实现批量文件的压缩处理。通过添加密码保护、选择要压缩的文件、错误处理和日志记录以及优化性能等扩展内容,你可以进一步定制和改进脚本,以满足你的具体需求。希望对你有所帮助!如果你有任何其他问题或需要进一步的帮助,请随时提问。


相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
2天前
|
Python
Python实现压缩解压---tarfile模块详解
Python实现压缩解压---tarfile模块详解
|
2天前
|
Linux iOS开发 MacOS
pyinstaller---Python代码的打包神器,一键将python代码打包成exe可执行文件
pyinstaller---Python代码的打包神器,一键将python代码打包成exe可执行文件
|
2天前
|
NoSQL Python
在Python中,我们可以使用许多库来处理Excel文件
Python处理Excel常用pandas和openpyxl库。pandas的`read_excel`用于读取文件,`to_excel`写入;示例展示了数据框操作。openpyxl则用于处理复杂情况,如多工作表,`load_workbook`加载文件,`iter_rows`读取数据,`Workbook`创建新文件,写入单元格数据后保存。
10 1
|
3天前
|
存储 Linux 数据安全/隐私保护
python的压缩模块zipfile详解
python的压缩模块zipfile详解
|
3天前
【Python21天学习挑战赛】文件读写操作
【Python21天学习挑战赛】文件读写操作
|
6天前
|
JSON JavaScript 数据格式
python遍历目录文件_结合vue获取所有的html文件并且展示
python遍历目录文件_结合vue获取所有的html文件并且展示
4 0
|
7天前
|
存储 安全 Python
Python从入门到精通:2.2.2异常处理与文件操作:文件的打开、读取、写入和关闭操作。
Python从入门到精通:2.2.2异常处理与文件操作:文件的打开、读取、写入和关闭操作。
|
9天前
|
Python
python html(文件/url/html字符串)转pdf
python html(文件/url/html字符串)转pdf
9 0
|
13天前
|
存储 Python
用Python实现批量下载文件——代理ip排除万难
用Python实现批量下载文件——代理ip排除万难
|
13天前
|
JSON 关系型数据库 数据库
《Python 简易速速上手小册》第6章:Python 文件和数据持久化(2024 最新版)
《Python 简易速速上手小册》第6章:Python 文件和数据持久化(2024 最新版)
40 0