Python3对象序列化,即将Python对象从内存中储存为本地文件、从本地文件中加载Python对象(持续更新ing...)

简介: 本文主要关注如何将各种Python对象储存为本地文件,并反之从本地文件加载Python对象。(注意:一般情况下Python读写的工具都需要统一,如果可以跨工具使用的话,我会在对应内容的位置说明)

1. 使用Python3原生函数读写文件流


Python3使用原生函数open()可以直接打开本地文件,返回值是文件流。

参数:

  • 文件路径
  • 打开模式,默认为r只读。其他可选项:w写入,a添加,rb/wb后面的b指对二进制文件的处理1
  • encoding:编码格式,常用选项为utf-8或gbk


有两种常见写法,一种是将open()作为命令,对返回的文件流进行处理,最后要记得close();一种是将open()作为上下文管理器,如with open('file.txt') as f:语句下包裹的代码运行之间自动打开文件流,运行完毕后自动关闭。

(如果对with语句之外的f进行I/O操作,将会报:ValueError: I/O operation on closed file.这个bug)


对文件流的操作:

  • readlines() 对于文本文件,就是返回全部内容,列表格式,每行文字是一个元素
  • read() 对于文本文件,就是返回全部内容,字符串格式
  • write(str) 写入一个字符串对象
  • writelines(obj) 写入一个可迭代对象的所有元素,obj需要元素是字符串。注意:1. 不会自动换行。2. 集合对象也可以写入,但顺序随机;以字符串为键的字典对象也可以写入,但将只写入键值,具体的顺序我不确定。
  • close() 关闭文件流(如果使用with open()就不用显式关闭文件流)


2. 使用json包


加载本地文件到内存中:json.load(文件流)

将Python对象储存到本地:json.dump(Python对象,文件流)

(文件流是通过open()函数打开的)


将字符串对象转换为dict对象:json.loads(str)

将dict对象转换为字符串:json.dumps(obj)

dump()和dumps()的共有入参:

  • ensure_ascii:默认置True, 这会导致转换得到的字符串无法用肉眼直接阅读。所以一般都会显式置False


使用JSON来储存数据的优势在于跨平台、跨语言。


3. 使用pickle包


pickle包官方文档:https://docs.python.org/3/library/pickle.html


常用的导入包代码:import pickle as pk


将Python对象储存为本地文件:pk.dump(Python对象,文件流)

加载本地文件到内存中:pk.load(文件流)

(文件流是通过open()函数打开的)


4. 使用csv包


5. 使用numpy包


5.1 一次性序列化多个对象

习惯以.npz后缀存储

官方文档:https://numpy.org/devdocs/reference/generated/numpy.savez.html

https://numpy.org/devdocs/reference/generated/numpy.savez_compressed.html


6. 使用scipy包


6.1 scipy.sparse

习惯以.npz后缀存储

储存对象:save_npz()(官方文档:https://docs.scipy.org/doc/scipy/reference/generated/scipy.sparse.save_npz.html

import scipy.sparse
sparse_matrix = scipy.sparse.csc_matrix(np.array([[0, 0, 3], [4, 0, 0]]))
scipy.sparse.save_npz('/tmp/sparse_matrix.npz', sparse_matrix)


加载本地对象:load_npz()(官方文档:https://docs.scipy.org/doc/scipy/reference/generated/scipy.sparse.load_npz.html

import scipy.sparse
sparse_matrix = scipy.sparse.load_npz('/tmp/sparse_matrix.npz')


7. 使用pandas包


8. 使用sklearn包


9. 使用PyTorch包


习惯以.pt或.pth后缀存储


PyTorch储存与加载模型的官方教程:Saving and Loading Models — PyTorch Tutorials 1.12.1+cu102 documentation


将对象储存到磁盘:torch.save(obj,path)

将磁盘对象加载到内存:torch.load(path)

(path可以是路径字符串或文件流)


load()入参:

  • map_location:可以是函数、torch.device、字符串或字典,指定对象存储的设备位置。


获取模型参数(返回state_dict,匹配模型层到参数张量的字典文件,只包括可学习的那些。优化器对象也有这个):model.state_dict() optimizer.state_dict()

将模型参数加载回模型:model.load(state_dict)


所以直接储存模型参数就是:torch.save(model.state_dict(), path)

直接加载模型参数就是:model.load_state_dict(torch.load(path))


更多复杂情况待补。

相关文章
|
2月前
|
缓存 安全 PHP
PHP中的魔术方法与对象序列化
本文将深入探讨PHP中的魔术方法,特别是与对象序列化和反序列化相关的__sleep()和__wakeup()方法。通过实例解析,帮助读者理解如何在实际应用中有效利用这些魔术方法,提高开发效率和代码质量。
|
19天前
|
存储 编译器 Linux
【c++】类和对象(上)(类的定义格式、访问限定符、类域、类的实例化、对象的内存大小、this指针)
本文介绍了C++中的类和对象,包括类的概念、定义格式、访问限定符、类域、对象的创建及内存大小、以及this指针。通过示例代码详细解释了类的定义、成员函数和成员变量的作用,以及如何使用访问限定符控制成员的访问权限。此外,还讨论了对象的内存分配规则和this指针的使用场景,帮助读者深入理解面向对象编程的核心概念。
45 4
|
2月前
|
缓存 算法 Java
JVM知识体系学习六:JVM垃圾是什么、GC常用垃圾清除算法、堆内存逻辑分区、栈上分配、对象何时进入老年代、有关老年代新生代的两个问题、常见的垃圾回收器、CMS
这篇文章详细介绍了Java虚拟机(JVM)中的垃圾回收机制,包括垃圾的定义、垃圾回收算法、堆内存的逻辑分区、对象的内存分配和回收过程,以及不同垃圾回收器的工作原理和参数设置。
72 4
JVM知识体系学习六:JVM垃圾是什么、GC常用垃圾清除算法、堆内存逻辑分区、栈上分配、对象何时进入老年代、有关老年代新生代的两个问题、常见的垃圾回收器、CMS
|
1月前
|
存储 安全 Java
Java编程中的对象序列化与反序列化
【10月更文挑战第22天】在Java的世界里,对象序列化和反序列化是数据持久化和网络传输的关键技术。本文将带你了解如何在Java中实现对象的序列化与反序列化,并探讨其背后的原理。通过实际代码示例,我们将一步步展示如何将复杂数据结构转换为字节流,以及如何将这些字节流还原为Java对象。文章还将讨论在使用序列化时应注意的安全性问题,以确保你的应用程序既高效又安全。
|
2月前
|
JSON 前端开发 数据格式
前端的全栈之路Meteor篇(五):自定义对象序列化的EJSON介绍 - 跨设备的对象传输
EJSON是Meteor框架中扩展了标准JSON的库,支持更多数据类型如`Date`、`Binary`等。它提供了序列化和反序列化功能,使客户端和服务器之间的复杂数据传输更加便捷高效。EJSON还支持自定义对象的定义和传输,通过`EJSON.addType`注册自定义类型,确保数据在两端无缝传递。
|
2月前
|
Java 测试技术 Android开发
让星星⭐月亮告诉你,强软弱虚引用类型对象在内存足够和内存不足的情况下,面对System.gc()时,被回收情况如何?
本文介绍了Java中四种引用类型(强引用、软引用、弱引用、虚引用)的特点及行为,并通过示例代码展示了在内存充足和不足情况下这些引用类型的不同表现。文中提供了详细的测试方法和步骤,帮助理解不同引用类型在垃圾回收机制中的作用。测试环境为Eclipse + JDK1.8,需配置JVM运行参数以限制内存使用。
32 2
|
2月前
|
存储 Java
Java编程中的对象序列化与反序列化
【10月更文挑战第9天】在Java的世界里,对象序列化是连接数据持久化与网络通信的桥梁。本文将深入探讨Java对象序列化的机制、实践方法及反序列化过程,通过代码示例揭示其背后的原理。从基础概念到高级应用,我们将一步步揭开序列化技术的神秘面纱,让读者能够掌握这一强大工具,以应对数据存储和传输的挑战。
|
2月前
|
存储 Java
JVM知识体系学习四:排序规范(happens-before原则)、对象创建过程、对象的内存中存储布局、对象的大小、对象头内容、对象如何定位、对象如何分配
这篇文章详细地介绍了Java对象的创建过程、内存布局、对象头的MarkWord、对象的定位方式以及对象的分配策略,并深入探讨了happens-before原则以确保多线程环境下的正确同步。
57 0
JVM知识体系学习四:排序规范(happens-before原则)、对象创建过程、对象的内存中存储布局、对象的大小、对象头内容、对象如何定位、对象如何分配
|
2月前
|
存储 安全 Java
Java编程中的对象序列化与反序列化
【10月更文挑战第3天】在Java编程的世界里,对象序列化与反序列化是实现数据持久化和网络传输的关键技术。本文将深入探讨Java序列化的原理、应用场景以及如何通过代码示例实现对象的序列化与反序列化过程。从基础概念到实践操作,我们将一步步揭示这一技术的魅力所在。
|
2月前
|
JSON 缓存 NoSQL
Redis 在线查看序列化对象技术详解
Redis 在线查看序列化对象技术详解
37 2