如何在Python中高效地读写大型文件?

简介: 大家好,我是V哥。上一篇介绍了Python文件读写操作,今天聊聊如何高效处理大型文件。主要方法包括:逐行读取、分块读取、内存映射(mmap)、pandas分块处理CSV、numpy处理二进制文件、itertools迭代处理及linecache逐行读取。这些方法能有效节省内存,提升效率。关注威哥爱编程,学习更多Python技巧。

大家好,我是 V 哥。上一篇给大家介绍如何使用 Python 进行文件读写操作的方法,问题来了,如何读写的是大型文件,有没有什么方法来提高效率呢,不要捉急,这一篇来聊聊如何在Python中高效地读写大型文件。

以下是在 Python 中高效读写大型文件的一些方法:

一、逐行读取大型文件

def read_large_file_line_by_line(file_path):
    with open(file_path, 'r') as file:
        for line in file:
            # 处理每一行的数据,这里仅打印
            print(line.strip())
  • with open(file_path, 'r') as file:使用 with 语句打开文件,确保文件在使用完毕后自动关闭。
  • for line in file:文件对象是可迭代的,逐行读取文件内容,避免一次性将整个文件读入内存,节省内存空间,适用于大型文本文件。

二、分块读取大型文件

def read_large_file_in_chunks(file_path, chunk_size=1024):
    with open(file_path, 'r') as file:
        while True:
            data = file.read(chunk_size)
            if not data:
                break
            # 处理读取到的数据块,这里仅打印
            print(data)
  • file.read(chunk_size):每次读取指定大小(chunk_size)的数据块,循环读取直到文件结束。
  • chunk_size 可以根据实际情况调整,一般根据文件大小和可用内存来选择合适的值。

三、使用 mmap 模块进行内存映射文件操作(适用于大文件)

import mmap

def read_large_file_with_mmap(file_path):
    with open(file_path, 'r') as file:
        with mmap.mmap(file.fileno(), 0, access=mmap.ACCESS_READ) as mmap_obj:
            # 处理映射的数据,这里仅打印
            print(mmap_obj.readline())
  • mmap.mmap(file.fileno(), 0, access=mmap.ACCESS_READ):将文件映射到内存中,实现文件的高效读写,fileno() 方法获取文件描述符。
  • 可以像操作字符串一样操作 mmap_obj,避免了频繁的文件 I/O 操作,提高性能。

四、使用 pandas 分块处理大型 CSV 文件(适用于 CSV 文件)

import pandas as pd

def read_large_csv_in_chunks(csv_file_path):
    chunk_size = 100000  # 每块的行数
    for chunk in pd.read_csv(csv_file_path, chunksize=chunk_size):
        # 处理数据块,这里仅打印
        print(chunk)
  • pd.read_csv(csv_file_path, chunksize=chunk_size):将 CSV 文件按块读取,chunksize 为每块的行数。
  • 可以对每个 chunk 进行数据处理,如数据清洗、分析等操作,避免一次性加载整个文件。

五、使用 numpy 分块处理大型二进制文件(适用于二进制文件)

import numpy as np

def read_large_binary_in_chunks(binary_file_path, chunk_size=1024):
    with open(binary_file_path, 'rb') as file:
        while True:
            data = np.fromfile(file, dtype=np.float32, count=chunk_size)
            if data.size == 0:
                break
            # 处理数据块,这里仅打印
            print(data)
  • np.fromfile(file, dtype=np.float32, count=chunk_size):从文件中读取二进制数据,dtype 为数据类型,count 为元素数量。
  • 可以根据文件的存储数据类型调整 dtype,按块读取二进制文件。

六、使用 itertools 模块进行迭代处理(适用于文本文件)

import itertools

def read_large_file_with_itertools(file_path, chunk_size=1024):
    with open(file_path, 'r') as file:
        for chunk in itertools.zip_longest(*[iter(file)]*chunk_size):
            chunk = [line.strip() for line in chunk if line]
            # 处理数据块,这里仅打印
            print(chunk)
  • itertools.zip_longest(*[iter(file)]*chunk_size):将文件迭代器分组,每组 chunk_size 行,方便分块处理。

七、使用 linecache 模块逐行读取大型文件(适用于文本文件)

import linecache

def read_large_file_with_linecache(file_path, line_number):
    line = linecache.getline(file_path, line_number)
    # 处理指定行的数据,这里仅打印
    print(line.strip())
  • linecache.getline(file_path, line_number):从文件中获取指定行的数据,适用于只需要读取文件中某些行的情况,避免读取整个文件。

最后

在处理大型文件时,根据文件类型和操作需求,可灵活使用上述方法,避免一次性将整个文件加载到内存中,从而提高程序的性能和稳定性。同时,可以结合不同的模块和函数,实现复杂的数据处理和分析任务。好了,赶快收藏起来吧,实际工作中你一定会用得到,关注威哥爱编程,学习Python你必成。

相关文章
|
12天前
|
机器学习/深度学习 存储 算法
解锁文件共享软件背后基于 Python 的二叉搜索树算法密码
文件共享软件在数字化时代扮演着连接全球用户、促进知识与数据交流的重要角色。二叉搜索树作为一种高效的数据结构,通过有序存储和快速检索文件,极大提升了文件共享平台的性能。它依据文件名或时间戳等关键属性排序,支持高效插入、删除和查找操作,显著优化用户体验。本文还展示了用Python实现的简单二叉搜索树代码,帮助理解其工作原理,并展望了该算法在分布式计算和机器学习领域的未来应用前景。
|
22天前
|
监控 网络安全 开发者
Python中的Paramiko与FTP文件夹及文件检测技巧
通过使用 Paramiko 和 FTP 库,开发者可以方便地检测远程服务器上的文件和文件夹是否存在。Paramiko 提供了通过 SSH 协议进行远程文件管理的能力,而 `ftplib` 则提供了通过 FTP 协议进行文件传输和管理的功能。通过理解和应用这些工具,您可以更加高效地管理和监控远程服务器上的文件系统。
52 20
|
29天前
|
存储 JSON 对象存储
如何使用 Python 进行文件读写操作?
大家好,我是V哥。本文介绍Python中文件读写操作的方法,包括文件读取、写入、追加、二进制模式、JSON、CSV和Pandas模块的使用,以及对象序列化与反序列化。通过这些方法,你可以根据不同的文件类型和需求,灵活选择合适的方式进行操作。希望对正在学习Python的小伙伴们有所帮助。欢迎关注威哥爱编程,全栈路上我们并肩前行。
|
1月前
|
存储 算法 Serverless
剖析文件共享工具背后的Python哈希表算法奥秘
在数字化时代,文件共享工具不可或缺。哈希表算法通过将文件名或哈希值映射到存储位置,实现快速检索与高效管理。Python中的哈希表可用于创建简易文件索引,支持快速插入和查找文件路径。哈希表不仅提升了文件定位速度,还优化了存储管理和多节点数据一致性,确保文件共享工具高效运行,满足多用户并发需求,推动文件共享领域向更高效、便捷的方向发展。
|
2月前
|
计算机视觉 Python
如何使用Python将TS文件转换为MP4
本文介绍了如何使用Python和FFmpeg将TS文件转换为MP4文件。首先需要安装Python和FFmpeg,然后通过`subprocess`模块调用FFmpeg命令,实现文件格式的转换。代码示例展示了具体的操作步骤,包括检查文件存在性、构建FFmpeg命令和执行转换过程。
78 7
|
4月前
|
自然语言处理 数据处理 Python
python操作和解析ppt文件 | python小知识
本文将带你从零开始,了解PPT解析的工具、工作原理以及常用的基本操作,并提供具体的代码示例和必要的说明【10月更文挑战第4天】
685 60
|
4月前
|
安全 Linux 数据安全/隐私保护
python知识点100篇系列(15)-加密python源代码为pyd文件
【10月更文挑战第5天】为了保护Python源码不被查看,可将其编译成二进制文件(Windows下为.pyd,Linux下为.so)。以Python3.8为例,通过Cython工具,先写好Python代码并加入`# cython: language_level=3`指令,安装easycython库后,使用`easycython *.py`命令编译源文件,最终生成.pyd文件供直接导入使用。
148 3
python知识点100篇系列(15)-加密python源代码为pyd文件
|
4月前
|
Linux 区块链 Python
Python实用记录(十三):python脚本打包exe文件并运行
这篇文章介绍了如何使用PyInstaller将Python脚本打包成可执行文件(exe),并提供了详细的步骤和注意事项。
187 1
Python实用记录(十三):python脚本打包exe文件并运行
|
3月前
|
开发者 Python
Python中__init__.py文件的作用
`__init__.py`文件在Python包管理中扮演着重要角色,通过标识目录为包、初始化包、控制导入行为、支持递归包结构以及定义包的命名空间,`__init__.py`文件为组织和管理Python代码提供了强大支持。理解并正确使用 `__init__.py`文件,可以帮助开发者更好地组织代码,提高代码的可维护性和可读性。
179 2
|
4月前
|
Python
python读写操作excel日志
主要是读写操作,创建表格
83 2

热门文章

最新文章