Python3对象序列化,即将Python对象从内存中储存为本地文件、从本地文件中加载Python对象(持续更新ing...)

简介: 本文主要关注如何将各种Python对象储存为本地文件,并反之从本地文件加载Python对象。(注意:一般情况下Python读写的工具都需要统一,如果可以跨工具使用的话,我会在对应内容的位置说明)

1. 使用Python3原生函数读写文件流


Python3使用原生函数open()可以直接打开本地文件,返回值是文件流。

参数:

  • 文件路径
  • 打开模式,默认为r只读。其他可选项:w写入,a添加,rb/wb后面的b指对二进制文件的处理1
  • encoding:编码格式,常用选项为utf-8或gbk


有两种常见写法,一种是将open()作为命令,对返回的文件流进行处理,最后要记得close();一种是将open()作为上下文管理器,如with open('file.txt') as f:语句下包裹的代码运行之间自动打开文件流,运行完毕后自动关闭。

(如果对with语句之外的f进行I/O操作,将会报:ValueError: I/O operation on closed file.这个bug)


对文件流的操作:

  • readlines() 对于文本文件,就是返回全部内容,列表格式,每行文字是一个元素
  • read() 对于文本文件,就是返回全部内容,字符串格式
  • write(str) 写入一个字符串对象
  • writelines(obj) 写入一个可迭代对象的所有元素,obj需要元素是字符串。注意:1. 不会自动换行。2. 集合对象也可以写入,但顺序随机;以字符串为键的字典对象也可以写入,但将只写入键值,具体的顺序我不确定。
  • close() 关闭文件流(如果使用with open()就不用显式关闭文件流)


2. 使用json包


加载本地文件到内存中:json.load(文件流)

将Python对象储存到本地:json.dump(Python对象,文件流)

(文件流是通过open()函数打开的)


将字符串对象转换为dict对象:json.loads(str)

将dict对象转换为字符串:json.dumps(obj)

dump()和dumps()的共有入参:

  • ensure_ascii:默认置True, 这会导致转换得到的字符串无法用肉眼直接阅读。所以一般都会显式置False


使用JSON来储存数据的优势在于跨平台、跨语言。


3. 使用pickle包


pickle包官方文档:https://docs.python.org/3/library/pickle.html


常用的导入包代码:import pickle as pk


将Python对象储存为本地文件:pk.dump(Python对象,文件流)

加载本地文件到内存中:pk.load(文件流)

(文件流是通过open()函数打开的)


4. 使用csv包


5. 使用numpy包


5.1 一次性序列化多个对象

习惯以.npz后缀存储

官方文档:https://numpy.org/devdocs/reference/generated/numpy.savez.html

https://numpy.org/devdocs/reference/generated/numpy.savez_compressed.html


6. 使用scipy包


6.1 scipy.sparse

习惯以.npz后缀存储

储存对象:save_npz()(官方文档:https://docs.scipy.org/doc/scipy/reference/generated/scipy.sparse.save_npz.html

import scipy.sparse
sparse_matrix = scipy.sparse.csc_matrix(np.array([[0, 0, 3], [4, 0, 0]]))
scipy.sparse.save_npz('/tmp/sparse_matrix.npz', sparse_matrix)


加载本地对象:load_npz()(官方文档:https://docs.scipy.org/doc/scipy/reference/generated/scipy.sparse.load_npz.html

import scipy.sparse
sparse_matrix = scipy.sparse.load_npz('/tmp/sparse_matrix.npz')


7. 使用pandas包


8. 使用sklearn包


9. 使用PyTorch包


习惯以.pt或.pth后缀存储


PyTorch储存与加载模型的官方教程:Saving and Loading Models — PyTorch Tutorials 1.12.1+cu102 documentation


将对象储存到磁盘:torch.save(obj,path)

将磁盘对象加载到内存:torch.load(path)

(path可以是路径字符串或文件流)


load()入参:

  • map_location:可以是函数、torch.device、字符串或字典,指定对象存储的设备位置。


获取模型参数(返回state_dict,匹配模型层到参数张量的字典文件,只包括可学习的那些。优化器对象也有这个):model.state_dict() optimizer.state_dict()

将模型参数加载回模型:model.load(state_dict)


所以直接储存模型参数就是:torch.save(model.state_dict(), path)

直接加载模型参数就是:model.load_state_dict(torch.load(path))


更多复杂情况待补。

相关文章
|
4月前
|
存储 大数据 Unix
Python生成器 vs 迭代器:从内存到代码的深度解析
在Python中,处理大数据或无限序列时,迭代器与生成器可避免内存溢出。迭代器通过`__iter__`和`__next__`手动实现,控制灵活;生成器用`yield`自动实现,代码简洁、内存高效。生成器适合大文件读取、惰性计算等场景,是性能优化的关键工具。
275 2
|
4月前
|
安全 大数据 程序员
Python operator模块的methodcaller:一行代码搞定对象方法调用的黑科技
`operator.methodcaller`是Python中处理对象方法调用的高效工具,替代冗长Lambda,提升代码可读性与性能。适用于数据过滤、排序、转换等场景,支持参数传递与链式调用,是函数式编程的隐藏利器。
159 4
|
5月前
|
安全 JavaScript Java
Python中None与NoneType的真相:从单例对象到类型系统的深度解析
本文通过10个真实场景,深入解析Python中表示“空值”的None与NoneType。从单例模式、函数返回值,到类型注解、性能优化,全面揭示None在语言设计与实际编程中的核心作用,帮助开发者正确高效地处理“无值”状态,写出更健壮、清晰的Python代码。
550 3
|
5月前
|
传感器 数据采集 监控
Python生成器与迭代器:从内存优化到协程调度的深度实践
简介:本文深入解析Python迭代器与生成器的原理及应用,涵盖内存优化技巧、底层协议实现、生成器通信机制及异步编程场景。通过实例讲解如何高效处理大文件、构建数据流水线,并对比不同迭代方式的性能特点,助你编写低内存、高效率的Python代码。
252 0
|
5月前
|
Python
解决Python中AttributeError:'image'对象缺少属性'read_file'的问题策略。
通过上述策略综合考虑,您将能够定位问题并确定如何解决它。记住,Python社区很庞大,也很乐于帮助解决问题,因此不要害怕在求助时提供尽可能多的上下文和您已经尝试过的解决方案。
162 0
|
8月前
|
数据可视化 Linux iOS开发
Python测量CPU和内存使用率
这些示例帮助您了解如何在Python中测量CPU和内存使用率。根据需要,可以进一步完善这些示例,例如可视化结果或限制程序在特定范围内的资源占用。
330 22
|
9月前
|
安全 测试技术 开发者
Python中的“空”:对象的判断与比较
在Python开发中,判断对象是否为“空”是常见操作,但其中暗藏诸多细节与误区。本文系统梳理了Python中“空”的判定逻辑,涵盖None类型、空容器、零值及自定义对象的“假值”状态,并对比不同判定方法的适用场景与性能。通过解析常见误区(如混用`==`和`is`、误判合法值等)及进阶技巧(类型安全检查、自定义对象逻辑、抽象基类兼容性等),帮助开发者准确区分各类“空”值,避免逻辑错误,同时优化代码性能与健壮性。掌握这些内容,能让开发者更深刻理解Python的对象模型与业务语义交集,从而选择最适合的判定策略。
351 5
|
4月前
|
数据采集 机器学习/深度学习 人工智能
Python:现代编程的首选语言
Python:现代编程的首选语言
333 102
|
4月前
|
数据采集 机器学习/深度学习 算法框架/工具
Python:现代编程的瑞士军刀
Python:现代编程的瑞士军刀
357 104
|
4月前
|
人工智能 自然语言处理 算法框架/工具
Python:现代编程的首选语言
Python:现代编程的首选语言
285 103

推荐镜像

更多