Python文件处理
一、文本文件和二进制文件
按文件中数据组织形式,我们把文件分为文本文件和二进制文件两大类。
1. 文本文件
文本文件存储的是普通“字符”文本,python 默认为 unicode 字符集(两个字节表示
一个字符,最多可以表示:65536 个),可以使用记事本程序打开。注意:像 word 软件编辑的文档不是文本文件。
2. 二进制文件
二进制文件把数据内容用“字节”进行存储,无法用记事本打开。必须使用专用的软件
解码。常见的有:MP4 视频文件、MP3 音频文件、JPG 图片、doc 文档等等。
二、文件操作相关模块概述
在 Python 中,有几个常用的文件操作相关模块可以帮助你进行文件的创建、读取、写入、复制、移动等操作。
这些模块为 Python 中文件操作提供了强大的功能和灵活性,可以根据需求选择合适的模块来进行文件处理操作。
三、创建文件对象 open()
open() 函数用于打开一个文件,并返回一个文件对象,可以对该文件对象进行读取、写入等操作。
语法格式如下:
open(file, mode='r', buffering=-1, encoding=None, errors=None, newline=None, closefd=True, opener=None)
其中:
- file: 要打开的文件的路径。
- mode: 打开文件的模式,常用的模式包括:
‘r’: 以只读方式打开文件(默认)。
‘w’: 以写入方式打开文件,会覆盖已存在的文件。
‘a’: 以追加模式打开文件,如果文件存在,数据将被写入到文件末尾。
‘b’: 以二进制模式打开文件。
‘t’: 以文本模式打开文件(默认)。
- buffering: 缓冲策略,0 表示不缓冲,1 表示行缓冲,大于 1 表示缓冲区大小。
- encoding: 文件编码(例如 ‘utf-8’),只适用于文本模式。
- errors: 指定编解码错误时的处理方式。
- newline: 控制换行模式。
- closefd: 是否关闭底层文件描述符。
- opener: 用于打开文件的自定义函数。
如果只是文件名,代表在当前目录下的文件。文件名可以录入全路径,比如:D:\a\b.txt。
为了减少“\”的输入,可以使用原始字符串:r“d:\b.txt”。
【示例】
f = open(r"d:\b.txt","w")
打开方式有如下几种:
文本文件对象和二进制文件对象的创建:
如果我们没有增加模式“b”,则默认创建的是文本文件对象,处理的基本单元是“字符”。如果是二进制模式“b”,则创建的是二进制文件对象,处理的基本单元是“字节”。
四、文本文件的写入
1. 基本的文件写入操作
文本文件的写入一般就是三个步骤:
创建文件对象
写入数据
关闭文件对象
【示例】 文本写入操作简单测试
f = open(r'文件对象.txt', 'a') s = 'hello world!' f.write(s) f.close()
2. 常用编码介绍
(1). ASCII码
全称为 American Standard Code for Information Interchange,美国信
息交换标准代码,这是世界上最早最通用的单字节编码系统,主要用来显示现代英语及其他西欧语言。
ASCII 码用 7 位表示,只能表示 128 个字符。只定义了 2
7=128 个字符,用7bit 即可完全编码,而一字节 8bit 的容量是 256,所以一字节 ASCII 的编码最高位总是 0。
0~31 表示控制字符如回车、退格、删除等;32~126 表示打印字符即可以
通过键盘输入并且能显示出来的字符;其中 48~57 为 0 到 9 十个阿拉伯数字,65~90 为 26 个大写英文字母,97~122 号为 26 个小写英文字母,其余为一些标点符号、运算符号等,具体可以参考 ASCII 标准表。
(2). Unicode
Unicode是一种字符集,它定义了全球范围内几乎所有的字符,并为每个字符分配了一个唯一的码点(code point)。Unicode中的码点用十六进制表示,例如U+0041表示拉丁字母"A"。
Unicode的目标是为世界上每个字符提供一个唯一的标识,并且不受特定的编码限制。这样就能够实现不同语言、不同文化背景的字符在计算机系统中的互通和共享。
Unicode采用不同的编码方式来表示这些码点,常见的编码方式有UTF-8、UTF-16和UTF-32等。其中,UTF-8是最常用的编码方式之一,它使用可变长度的方式来表示字符,能够兼容ASCII码,并且对于常用的字符使用较少的字节表示,提高了存储效率。
(3). UTF-8
UTF-8(Unicode Transformation Format-8)是一种可变长度的编码方式,能够表示Unicode字符集中的任意字符。它是互联网上最常用的字符编码之一,也是现代编程语言中的标准字符编码方式。
UTF-8采用1到4个字节来表示一个字符,具体长度根据字符的不同而变化。对于ASCII码的字符,UTF-8使用1个字节来表示,因此在存储英文文本时,UTF-8和ASCII码是兼容的。而对于非ASCII字符,UTF-8使用不同长度的字节序列来表示,确保了所有Unicode字符都能够被表示。
特点:
- 可变长度:UTF-8使用不定长编码,对于不同的字符使用不同长度的字节来表示。这样可以节省存储空间,并且方便了Unicode字符在不同系统之间的传输和处理。
- 兼容ASCII码:对于ASCII码的字符,UTF-8使用1个字节来表示。这使得ASCII文本可以直接在UTF-8系统中使用,而不需要进行转换。
- 自我同步性:UTF-8编码方式具有自我同步性,即任何一个字节都可以作为起始字节。这样能够确保在传输和处理过程中不会出现数据混乱和解码错误。
- 国际化支持:UTF-8能够支持全球范围内几乎所有的字符,包括中文、日文、韩文等亚洲语言,以及西方语言和其他一些少数民族语言。
(4). GBK
GBK编码是一种中文字符集编码方式,它是中国国家标准GB 2312的扩展形式。GBK编码能够表示中文字符以及包括繁体字在内的一些其他字符。
GBK编码使用双字节表示一个字符,每个字节使用8位二进制数表示。第一个字节的范围是0x81-0xFE,第二个字节的范围是0x40-0xFE(不包括0x7F),因此GBK编码总共可以表示(94+33)×(94+33)=30,664个字符。
GBK编码兼容ASCII码,即对于ASCII字符,使用单字节表示,与标准的ASCII编码一致。而对于中文字符和其他非ASCII字符,使用双字节表示。
注意: GBK编码是一种中文字符集编码方式,不同于Unicode编码。Unicode是一个统一的全球字符集,而GBK编码只是其中的一种特定编码方式,主要用于中文字符的表示。
3. 中文乱码问题
windows 操作系统默认的编码是 GBK,Linux 操作系统默认的编码是 UTF-8。当我们用 open()时,调用的是操作系统打开的文件,默认的编码是GBK。
【示例】 中文字符文件,乱码出现测试
f = open(r'中文乱码.txt', 'w') s = '你好!\n' f.write(s) # 把字符串 s 写入到文件中 f.close()
运行结果(Linux 环境中不存在这个问题):
**【示例】**通过指定文件编码解决中文乱码问题
f = open(r'中文乱码.txt', 'w', encoding='utf-8') s = '你好!\n' f.write(s) # 把字符串 s 写入到文件中 f.close()
运行结果:
4. close()关闭文件流
由于文件底层是由操作系统控制,所以我们打开的文件对象必须显式调用 close()方法关闭文件对象。当调用 close()方法时,首先会把缓冲区数据写入文件(也可以直接调用 flush()方法),再关闭文件,释放文件对象。
为了确保打开的文件对象正常关闭,一般结合异常机制的 finally 或者 with 关键字实现无论何种情况都能关闭打开的文件对象。
【示例】 结合异常机制 finally 确保关闭文件对象
# 结合异常机制 finally 确保关闭文件对象 try: f = open('close关闭流.txt', 'w') str1 = 'hello' f.write(str1) except BaseException as e: print(e) finally: f.close()
运行结果:
5. 文本文件的读取
文件的读取一般使用如下三个方法:
- read([size]):从文件中读取 size 个字符,并作为结果返回。如果没有 size 参数,则读取整个文件。读取到文件末尾,会返回空字符串。
- readline():读取一行内容作为结果返回。读取到文件末尾,会返回空字符串。
readlines():文本文件中,每一行作为一个字符串存入列表中,返回该列表
【示例】 读取一个文件前 3 个字符
with open('with语句(上下文管理器).txt', 'r', encoding='utf-8') as f: str1 = f.read(3) print(str1)
运行结果:
【示例】 文件较小,一次将文件内容读入到程序中
# 文件较小,一次将文件内容读入到程序中 with open('with语句(上下文管理器).txt', 'r', encoding='utf-8') as f: str1 = f.read() print(str1)
运行结果:
【示例】 为文本文件每一行的末尾增加行号
with open('中文乱码.txt', 'r', encoding='utf-8') as f: lines = f.readlines() lines = [line.rstrip() + ' # ' + str(index + 1) + '\n' for index, line in enumerate(lines)] with open('文本文件每一行的末尾增加行号.txt', 'w', encoding='utf-8') as f: f.writelines(lines)
运行结果:
6. 二进制文件的读取和写入
二进制文件的处理流程和文本文件流程一致。首先还是要创建文件对象,不过,我们需要指定二进制模式,从而创建出二进制文件对象。
创建好二进制文件对象后,仍然可以使用 write()、read()实现文件的读写操作。
【示例】 读取图片文件,实现文件的拷贝
# 二进制文件的读取 with open('aa.gif', 'rb') as f: line = f.read() # 二进制文件的写入 with open('copy_aa.gif', 'wb') as f: f.write(line)
运行结果:
Python文件处理(IO 技术)-2