1. 使用Python3原生函数读写文件流
Python3使用原生函数open()可以直接打开本地文件,返回值是文件流。
参数:
- 文件路径
- 打开模式,默认为r只读。其他可选项:w写入,a添加,rb/wb后面的b指对二进制文件的处理1
- encoding:编码格式,常用选项为utf-8或gbk
有两种常见写法,一种是将open()作为命令,对返回的文件流进行处理,最后要记得close();一种是将open()作为上下文管理器,如with open('file.txt') as f:语句下包裹的代码运行之间自动打开文件流,运行完毕后自动关闭。
(如果对with语句之外的f进行I/O操作,将会报:ValueError: I/O operation on closed file.这个bug)
对文件流的操作:
- readlines() 对于文本文件,就是返回全部内容,列表格式,每行文字是一个元素
- read() 对于文本文件,就是返回全部内容,字符串格式
- write(str) 写入一个字符串对象
- writelines(obj) 写入一个可迭代对象的所有元素,obj需要元素是字符串。注意:1. 不会自动换行。2. 集合对象也可以写入,但顺序随机;以字符串为键的字典对象也可以写入,但将只写入键值,具体的顺序我不确定。
- close() 关闭文件流(如果使用with open()就不用显式关闭文件流)
2. 使用json包
加载本地文件到内存中:json.load(文件流)
将Python对象储存到本地:json.dump(Python对象,文件流)
(文件流是通过open()函数打开的)
将字符串对象转换为dict对象:json.loads(str)
将dict对象转换为字符串:json.dumps(obj)
dump()和dumps()的共有入参:
- ensure_ascii:默认置True, 这会导致转换得到的字符串无法用肉眼直接阅读。所以一般都会显式置False
使用JSON来储存数据的优势在于跨平台、跨语言。
3. 使用pickle包
pickle包官方文档:https://docs.python.org/3/library/pickle.html
常用的导入包代码:import pickle as pk
将Python对象储存为本地文件:pk.dump(Python对象,文件流)
加载本地文件到内存中:pk.load(文件流)
(文件流是通过open()函数打开的)
4. 使用csv包
5. 使用numpy包
5.1 一次性序列化多个对象
习惯以.npz后缀存储
官方文档:https://numpy.org/devdocs/reference/generated/numpy.savez.html
https://numpy.org/devdocs/reference/generated/numpy.savez_compressed.html
6. 使用scipy包
6.1 scipy.sparse
习惯以.npz后缀存储
储存对象:save_npz()(官方文档:https://docs.scipy.org/doc/scipy/reference/generated/scipy.sparse.save_npz.html)
import scipy.sparse sparse_matrix = scipy.sparse.csc_matrix(np.array([[0, 0, 3], [4, 0, 0]])) scipy.sparse.save_npz('/tmp/sparse_matrix.npz', sparse_matrix)
加载本地对象:load_npz()(官方文档:https://docs.scipy.org/doc/scipy/reference/generated/scipy.sparse.load_npz.html)
import scipy.sparse sparse_matrix = scipy.sparse.load_npz('/tmp/sparse_matrix.npz')
7. 使用pandas包
8. 使用sklearn包
9. 使用PyTorch包
习惯以.pt或.pth后缀存储
PyTorch储存与加载模型的官方教程:Saving and Loading Models — PyTorch Tutorials 1.12.1+cu102 documentation
将对象储存到磁盘:torch.save(obj,path)
将磁盘对象加载到内存:torch.load(path)
(path可以是路径字符串或文件流)
load()入参:
- map_location:可以是函数、torch.device、字符串或字典,指定对象存储的设备位置。
获取模型参数(返回state_dict,匹配模型层到参数张量的字典文件,只包括可学习的那些。优化器对象也有这个):model.state_dict() optimizer.state_dict()
将模型参数加载回模型:model.load(state_dict)
所以直接储存模型参数就是:torch.save(model.state_dict(), path)
直接加载模型参数就是:model.load_state_dict(torch.load(path))
更多复杂情况待补。