Python文件处理(IO 技术)-1

简介: Python文件处理(IO 技术)

Python文件处理

一、文本文件和二进制文件

按文件中数据组织形式,我们把文件分为文本文件和二进制文件两大类。


1. 文本文件

文本文件存储的是普通“字符”文本,python 默认为 unicode 字符集(两个字节表示

一个字符,最多可以表示:65536 个),可以使用记事本程序打开。注意:像 word 软件编辑的文档不是文本文件。


2. 二进制文件

二进制文件把数据内容用“字节”进行存储,无法用记事本打开。必须使用专用的软件

解码。常见的有:MP4 视频文件、MP3 音频文件、JPG 图片、doc 文档等等。

二、文件操作相关模块概述

在 Python 中,有几个常用的文件操作相关模块可以帮助你进行文件的创建、读取、写入、复制、移动等操作。

这些模块为 Python 中文件操作提供了强大的功能和灵活性,可以根据需求选择合适的模块来进行文件处理操作。

三、创建文件对象 open()

open() 函数用于打开一个文件,并返回一个文件对象,可以对该文件对象进行读取、写入等操作。

语法格式如下:

open(file, mode='r', buffering=-1, encoding=None, errors=None, newline=None, closefd=True, opener=None)

其中:


  • file: 要打开的文件的路径。
  • mode: 打开文件的模式,常用的模式包括:

‘r’: 以只读方式打开文件(默认)。

‘w’: 以写入方式打开文件,会覆盖已存在的文件。

‘a’: 以追加模式打开文件,如果文件存在,数据将被写入到文件末尾。

‘b’: 以二进制模式打开文件。

‘t’: 以文本模式打开文件(默认)。

  • buffering: 缓冲策略,0 表示不缓冲,1 表示行缓冲,大于 1 表示缓冲区大小。
  • encoding: 文件编码(例如 ‘utf-8’),只适用于文本模式。
  • errors: 指定编解码错误时的处理方式。
  • newline: 控制换行模式。
  • closefd: 是否关闭底层文件描述符。
  • opener: 用于打开文件的自定义函数。

如果只是文件名,代表在当前目录下的文件。文件名可以录入全路径,比如:D:\a\b.txt。

为了减少“\”的输入,可以使用原始字符串:r“d:\b.txt”。

【示例】

f = open(r"d:\b.txt","w")

打开方式有如下几种:

文本文件对象和二进制文件对象的创建:

如果我们没有增加模式“b”,则默认创建的是文本文件对象,处理的基本单元是“字符”。如果是二进制模式“b”,则创建的是二进制文件对象,处理的基本单元是“字节”。


四、文本文件的写入

1. 基本的文件写入操作

文本文件的写入一般就是三个步骤:


创建文件对象

写入数据

关闭文件对象

【示例】 文本写入操作简单测试

f = open(r'文件对象.txt', 'a')
s = 'hello world!'
f.write(s)
f.close()

2. 常用编码介绍

(1). ASCII码

全称为 American Standard Code for Information Interchange,美国信

息交换标准代码,这是世界上最早最通用的单字节编码系统,主要用来显示现代英语及其他西欧语言。

ASCII 码用 7 位表示,只能表示 128 个字符。只定义了 2

7=128 个字符,用7bit 即可完全编码,而一字节 8bit 的容量是 256,所以一字节 ASCII 的编码最高位总是 0。

0~31 表示控制字符如回车、退格、删除等;32~126 表示打印字符即可以

通过键盘输入并且能显示出来的字符;其中 48~57 为 0 到 9 十个阿拉伯数字,65~90 为 26 个大写英文字母,97~122 号为 26 个小写英文字母,其余为一些标点符号、运算符号等,具体可以参考 ASCII 标准表。

67c5be4090d2cc34fc5a2f999f548ff4_52eb72b9ed1943759dbc8d967083b4d0.png


(2). Unicode

Unicode是一种字符集,它定义了全球范围内几乎所有的字符,并为每个字符分配了一个唯一的码点(code point)。Unicode中的码点用十六进制表示,例如U+0041表示拉丁字母"A"。

Unicode的目标是为世界上每个字符提供一个唯一的标识,并且不受特定的编码限制。这样就能够实现不同语言、不同文化背景的字符在计算机系统中的互通和共享。

Unicode采用不同的编码方式来表示这些码点,常见的编码方式有UTF-8、UTF-16和UTF-32等。其中,UTF-8是最常用的编码方式之一,它使用可变长度的方式来表示字符,能够兼容ASCII码,并且对于常用的字符使用较少的字节表示,提高了存储效率。


(3). UTF-8

UTF-8(Unicode Transformation Format-8)是一种可变长度的编码方式,能够表示Unicode字符集中的任意字符。它是互联网上最常用的字符编码之一,也是现代编程语言中的标准字符编码方式。

UTF-8采用1到4个字节来表示一个字符,具体长度根据字符的不同而变化。对于ASCII码的字符,UTF-8使用1个字节来表示,因此在存储英文文本时,UTF-8和ASCII码是兼容的。而对于非ASCII字符,UTF-8使用不同长度的字节序列来表示,确保了所有Unicode字符都能够被表示。


特点:


  • 可变长度:UTF-8使用不定长编码,对于不同的字符使用不同长度的字节来表示。这样可以节省存储空间,并且方便了Unicode字符在不同系统之间的传输和处理。
  • 兼容ASCII码:对于ASCII码的字符,UTF-8使用1个字节来表示。这使得ASCII文本可以直接在UTF-8系统中使用,而不需要进行转换。
  • 自我同步性:UTF-8编码方式具有自我同步性,即任何一个字节都可以作为起始字节。这样能够确保在传输和处理过程中不会出现数据混乱和解码错误。
  • 国际化支持:UTF-8能够支持全球范围内几乎所有的字符,包括中文、日文、韩文等亚洲语言,以及西方语言和其他一些少数民族语言。

(4). GBK

GBK编码是一种中文字符集编码方式,它是中国国家标准GB 2312的扩展形式。GBK编码能够表示中文字符以及包括繁体字在内的一些其他字符。


GBK编码使用双字节表示一个字符,每个字节使用8位二进制数表示。第一个字节的范围是0x81-0xFE,第二个字节的范围是0x40-0xFE(不包括0x7F),因此GBK编码总共可以表示(94+33)×(94+33)=30,664个字符。


GBK编码兼容ASCII码,即对于ASCII字符,使用单字节表示,与标准的ASCII编码一致。而对于中文字符和其他非ASCII字符,使用双字节表示。


注意: GBK编码是一种中文字符集编码方式,不同于Unicode编码。Unicode是一个统一的全球字符集,而GBK编码只是其中的一种特定编码方式,主要用于中文字符的表示。


3. 中文乱码问题

windows 操作系统默认的编码是 GBK,Linux 操作系统默认的编码是 UTF-8。当我们用 open()时,调用的是操作系统打开的文件,默认的编码是GBK。


【示例】 中文字符文件,乱码出现测试

f = open(r'中文乱码.txt', 'w')
s = '你好!\n'
f.write(s)  # 把字符串 s 写入到文件中
f.close()

运行结果(Linux 环境中不存在这个问题):

558fe523e00e3a90ad00d81861e13544_8373fb1b814943be843512b5a150f29d.png

**【示例】**通过指定文件编码解决中文乱码问题

f = open(r'中文乱码.txt', 'w', encoding='utf-8')
s = '你好!\n'
f.write(s)  # 把字符串 s 写入到文件中
f.close()

运行结果:

291df155e7a52dbeffc5615d41fb299a_ca44b449479f448f8409b32a80712f88.png


4. close()关闭文件流

由于文件底层是由操作系统控制,所以我们打开的文件对象必须显式调用 close()方法关闭文件对象。当调用 close()方法时,首先会把缓冲区数据写入文件(也可以直接调用 flush()方法),再关闭文件,释放文件对象。


为了确保打开的文件对象正常关闭,一般结合异常机制的 finally 或者 with 关键字实现无论何种情况都能关闭打开的文件对象。


【示例】 结合异常机制 finally 确保关闭文件对象

# 结合异常机制 finally 确保关闭文件对象
try:
    f = open('close关闭流.txt', 'w')
    str1 = 'hello'
    f.write(str1)
except BaseException as e:
    print(e)
finally:
    f.close()

运行结果:

be38d50ae1d744cc80e43e55c584a014_673f0bcac3f14fdbb3f376a03e789bf6.png


5. 文本文件的读取

文件的读取一般使用如下三个方法:


  • read([size]):从文件中读取 size 个字符,并作为结果返回。如果没有 size 参数,则读取整个文件。读取到文件末尾,会返回空字符串。
  • readline():读取一行内容作为结果返回。读取到文件末尾,会返回空字符串。

readlines():文本文件中,每一行作为一个字符串存入列表中,返回该列表

【示例】 读取一个文件前 3 个字符

with open('with语句(上下文管理器).txt', 'r', encoding='utf-8') as f:
    str1 = f.read(3)
    print(str1)

运行结果:

a748da916fc25cfa96ee144c305e4ae4_f58fba4dc99a45878ffd5ce9cbce23fc.png


【示例】 文件较小,一次将文件内容读入到程序中

# 文件较小,一次将文件内容读入到程序中
with open('with语句(上下文管理器).txt', 'r', encoding='utf-8') as f:
    str1 = f.read()
    print(str1)

运行结果:

1be0ffde7114ff04043131c0ac42259d_5b6d6a07a9eb404fa573af220572273a.png


【示例】 为文本文件每一行的末尾增加行号

with open('中文乱码.txt', 'r', encoding='utf-8') as f:
    lines = f.readlines()
    lines = [line.rstrip() + '  # ' + str(index + 1) + '\n' for index, line in enumerate(lines)]

with open('文本文件每一行的末尾增加行号.txt', 'w', encoding='utf-8') as f:
    f.writelines(lines)

运行结果:

635a3f236bb9003857bcbabc9d1c9867_e5f0b852b4ea4d729dda6c0e271c7ab7.png


6. 二进制文件的读取和写入

二进制文件的处理流程和文本文件流程一致。首先还是要创建文件对象,不过,我们需要指定二进制模式,从而创建出二进制文件对象。

2055f8644a0157bdd53f446a3effa2ef_26965dda0dd740e4989d648a26e88a5a.png

创建好二进制文件对象后,仍然可以使用 write()、read()实现文件的读写操作。

【示例】 读取图片文件,实现文件的拷贝

# 二进制文件的读取
with open('aa.gif', 'rb') as f:
    line = f.read()

# 二进制文件的写入
with open('copy_aa.gif', 'wb') as f:
    f.write(line)

运行结果:


Python文件处理(IO 技术)-2

https://developer.aliyun.com/article/1537872

相关文章
|
4天前
|
前端开发 JavaScript 网络协议
深入理解Python Web开发中的前后端分离与WebSocket实时通信技术
【7月更文挑战第18天】前后端分离采用Flask/Django框架,前端JavaScript框架如Vue.js与后端通过AJAX/Fetch通信。WebSocket提供实时双向通信,Python可借助websockets库或Flask-SocketIO实现。最佳实践包括定义清晰的接口规范,确保安全性(HTTPS,认证授权),优化性能,和健壮的错误处理。结合两者,打造高效实时应用。
17 1
|
5天前
|
并行计算 数据处理 Python
Python并发编程迷雾:IO密集型为何偏爱异步?CPU密集型又该如何应对?
【7月更文挑战第17天】Python并发编程中,异步编程(如`asyncio`)在IO密集型任务中提高效率,利用等待时间执行其他任务。但对CPU密集型任务,由于GIL限制,多线程效率不高,此时应选用`multiprocessing`进行多进程并行计算以突破限制。选择合适的并发策略是关键:异步适合IO,多进程适合CPU。理解这些能帮助构建高效并发程序。
15 6
|
4天前
|
开发框架 并行计算 .NET
从菜鸟到大神:Python并发编程深度剖析,IO与CPU的异步战争!
【7月更文挑战第18天】Python并发涉及多线程、多进程和异步IO(asyncio)。异步IO适合IO密集型任务,如并发HTTP请求,能避免等待提高效率。多进程在CPU密集型任务中更优,因可绕过GIL限制实现并行计算。通过正确选择并发策略,开发者能提升应用性能和响应速度。
|
5天前
|
算法 Java 程序员
解锁Python高效之道:并发与异步在IO与CPU密集型任务中的精准打击策略!
【7月更文挑战第17天】在数据驱动时代,Python凭借其优雅语法和强大库支持成为并发处理大规模数据的首选。并发与异步编程是关键,包括多线程、多进程和异步IO。对于IO密集型任务,如网络请求,可使用`concurrent.futures`和`asyncio`;CPU密集型任务则推荐多进程,如`multiprocessing`;`asyncio`适用于混合任务,实现等待IO时执行CPU任务。通过这些工具,开发者能有效优化资源,提升系统性能。
16 4
|
5天前
|
并行计算 Java 大数据
深度探索:Python异步编程如何优雅征服IO密集型任务,让CPU密集型任务也臣服!
【7月更文挑战第17天】Python的异步编程借助`asyncio`库提升IO密集型任务效率,如并发下载网页,通过`async def`定义协程,`asyncio.gather`并发执行。在CPU密集型任务中,结合`ThreadPoolExecutor`实现并行计算,利用多核优势。`asyncio.run`简化事件循环管理,使Python在高负载场景下表现更佳。
17 4
|
5天前
|
分布式计算 并行计算 Java
Python并发风暴来袭!IO密集型与CPU密集型任务并发策略大比拼,你站哪队?
【7月更文挑战第17天】Python并发处理IO密集型(如网络请求)与CPU密集型(如数学计算)任务。IO密集型适合多线程和异步IO,如`ThreadPoolExecutor`进行网页下载;CPU密集型推荐多进程,如`multiprocessing`模块进行并行计算。选择取决于任务类型,理解任务特性是关键,以实现最佳效率。
|
4天前
|
开发框架 并行计算 .NET
脑洞大开!Python并发与异步编程的哲学思考:IO密集型与CPU密集型任务的智慧选择!
【7月更文挑战第18天】在Python中,异步编程(如`asyncio`)适合处理IO密集型任务,通过非阻塞操作提高响应性,例如使用`aiohttp`进行异步HTTP请求。而对于CPU密集型任务,由于GIL的存在,多进程(`multiprocessing`)能实现并行计算,如使用进程池进行大量计算。明智选择并发模型是性能优化的关键,体现了对任务特性和编程哲学的深刻理解。
10 2
|
4天前
|
UED 开发者 Python
Python并发编程新纪元:异步编程如何重塑IO与CPU密集型任务的处理方式?
【7月更文挑战第18天】Python异步编程提升IO任务效率,非阻塞模式减少等待时间,优化用户体验。asyncio库与await关键字助力编写非阻塞代码,示例展示异步HTTP请求。CPU密集型任务中,异步编程结合多进程可提升效率。异步编程挑战包括代码复杂性,解决策略包括使用类型提示、异步框架及最佳实践。异步编程重塑任务处理方式,成为现代Python开发的关键。
9 2
|
4天前
|
开发框架 并行计算 算法
揭秘Python并发神器:IO密集型与CPU密集型任务的异步革命,你竟还傻傻分不清?
【7月更文挑战第18天】Python并发编程中,异步IO适合IO密集型任务,如异步HTTP请求,利用`asyncio`和`aiohttp`实现并发抓取,避免等待延迟。而对于CPU密集型任务,如并行计算斐波那契数列,多进程通过`multiprocessing`库能绕过GIL限制实现并行计算。选择正确的并发模型能显著提升性能。
10 2
|
1天前
|
数据采集 算法 数据处理
Python中的并发编程:异步IO与多线程对比分析
传统的多线程编程在Python中因为全局解释器锁(GIL)的存在受到限制,导致多线程并不能充分利用多核处理器的优势。本文将探讨Python中的异步IO编程与多线程编程的差异与优劣,并分析适合的应用场景。