Python 对象的序列和反序列化(上)

简介: 在 Python 中提供了一个 pickle 模块,pickle 模块实现了二进制协议。支持我们的对象数据的序列和反序列化。

1 概念

将对象转换为可保存状态(例如字节流、文本表示等)称为序列化,而反序列化将数据从上述格式转换回对象。


序列化格式会将内存中重建对象所需的所有信息保留在与序列化时相同的状态。


在 Python 中提供了一个 pickle 模块,pickle 模块实现了二进制协议。支持我们的对象数据的序列和反序列化。

2 存储 Python 原生对象:pickle 模块


pickle 模块能够让我们直接在文件中存储几乎任何 Python 对象的高级工具,同时不需要我们对字符串进行来回转换。它像是超级通用的数据格式化和解析工具。


pickle 包可用于执行 pickling 和 unpickling 操作。Python 中的 pickling 用于描述将 Python 对象转换为字节流的过程,也被称为序列化(serialization 或者 marshalling、flattening)。


unpickling 反之,将字节流(来自二进制文件或字节对象)转换为对象结构,这个过程又被叫反序列化(De-serialization)。


Python 的 pickle 模块基本上由四个方法组成:

  • dump()
pickle.dump(obj, file, protocol=None, *, fix_imports=True, buffer_callback=None)
  • dumps()
pickle.dumps(obj, protocol=None, *, fix_imports=True, buffer_callback=None)
  • load()
pickle.load(file, *, fix_imports=True, encoding="ASCII", errors="strict", buffers=None)
  • loads()
pickle.loads(bytes_object, *, fix_imports=True, encoding="ASCII", errors="strict", buffers=None)


序列化到字符串

前两个方法是在 pickling 过程中使用的,另外两个是在 unpickling 过程中使用的。dump()dumps()的唯一区别是,前者创建一个包含序列化结果的文件,而后者则返回一个字符串。


为了区分 dumps()dump(),记住函数名后面的 s 代表字符串是很有帮助的。同样的概念也适用于loads()load()。第一个函数对一个字符串进行操作。第二个读取一个文件以开始解压过程。


假如有如下的例子:

import pickle
my_dic = {"k1", 20, "k2", 22}
str_dic = pickle.dumps(my_dic)
print("序列化后 str_dic: ", str_dic)
my_dic2 = pickle.loads(str_dic)
print("反序列化的 my_dic2: ", my_dic2)


输出结果:

$ python pickle_dumps.py 
序列化后 str_dic:  b'\x80\x04\x95\x13\x00\x00\x00\x00\x00\x00\x00\x8f\x94(\x8c\x02k2\x94\x8c\x02k1\x94K\x14K\x16\x90.'
反序列化的 my_dic2:  {'k2', 'k1', 20, 22}


序列化到文件

import pickle
students = {
  "Name": ["张三", "法外狂徒", "张麻子"],
  "Major": ["社会学", "法律", "经济"]
}
print(students)


运行结果:

{'Name': ['张三', '法外狂徒', '张麻子'], 'Major': ['社会学', '法律', '经济']}


让我们尝试将学生对象 pickling 到二进制文件中。我们可以使用 dump() 函数来做到这一点。它需要两个参数:被 pickled 的对象和要写入数据的 File 对象。


以下代码将数据 pickle 到一个新文件 stu.txt,该文件将在脚本运行的同一目录中创建:

import pickle
students = {
  "Name": ["张三", "法外狂徒", "张麻子"],
  "Major": ["社会学", "法律", "经济"]
}
print(students)
stu_file = open('stu.txt', 'wb')
pickle.dump(students, stu_file)
stu_file.close()


运行完后,则会在同目录下多一个 stu.txt 文件,如下:


image.png


常规文本编辑器无法查看创建的文件的内容,因为它是二进制数据,并不意味着以人类可读的格式存储。要读取此信息,我们必须解压缩或反序列化此数据。我们可以使用 load() 函数来做到这一点!


load() 函数读取 pickled 文件的内容并返回通过读取数据构造的对象。对象的类型及其状态取决于文件的内容。


由于我们已经保存了一个包含学生姓名和专业的字典:这个具有相同条目的对象被重建。


让我们将刚刚创建的 pickled 文件 stu.txt 读回 Python 对象并打印其内容,新建一个 Python 文件,写入如下代码:

import pickle
stu_file = open("stu.txt", "rb")
stu_data = pickle.load(stu_file)
stu_file.close()
print("学生数据:", stu_data)


运行结果:

$ python3 unpickledtest.py
学生数据: {'Name': ['张三', '法外狂徒', '张麻子'], 'Major': ['社会学', '法律', '经济']}
相关文章
|
2月前
|
安全 大数据 程序员
Python operator模块的methodcaller:一行代码搞定对象方法调用的黑科技
`operator.methodcaller`是Python中处理对象方法调用的高效工具,替代冗长Lambda,提升代码可读性与性能。适用于数据过滤、排序、转换等场景,支持参数传递与链式调用,是函数式编程的隐藏利器。
106 4
|
3月前
|
安全 JavaScript Java
Python中None与NoneType的真相:从单例对象到类型系统的深度解析
本文通过10个真实场景,深入解析Python中表示“空值”的None与NoneType。从单例模式、函数返回值,到类型注解、性能优化,全面揭示None在语言设计与实际编程中的核心作用,帮助开发者正确高效地处理“无值”状态,写出更健壮、清晰的Python代码。
333 3
|
3月前
|
Python
解决Python中AttributeError:'image'对象缺少属性'read_file'的问题策略。
通过上述策略综合考虑,您将能够定位问题并确定如何解决它。记住,Python社区很庞大,也很乐于帮助解决问题,因此不要害怕在求助时提供尽可能多的上下文和您已经尝试过的解决方案。
111 0
|
7月前
|
Python
解决Python报错:DataFrame对象没有concat属性的多种方法(解决方案汇总)
总的来说,解决“DataFrame对象没有concat属性”的错误的关键是理解concat函数应该如何正确使用,以及Pandas库提供了哪些其他的数据连接方法。希望这些方法能帮助你解决问题。记住,编程就像是解谜游戏,每一个错误都是一个谜题,解决它们需要耐心和细心。
340 15
|
7月前
|
安全 测试技术 开发者
Python中的“空”:对象的判断与比较
在Python开发中,判断对象是否为“空”是常见操作,但其中暗藏诸多细节与误区。本文系统梳理了Python中“空”的判定逻辑,涵盖None类型、空容器、零值及自定义对象的“假值”状态,并对比不同判定方法的适用场景与性能。通过解析常见误区(如混用`==`和`is`、误判合法值等)及进阶技巧(类型安全检查、自定义对象逻辑、抽象基类兼容性等),帮助开发者准确区分各类“空”值,避免逻辑错误,同时优化代码性能与健壮性。掌握这些内容,能让开发者更深刻理解Python的对象模型与业务语义交集,从而选择最适合的判定策略。
239 5
|
7月前
|
人工智能 Python
[oeasy]python083_类_对象_成员方法_method_函数_function_isinstance
本文介绍了Python中类、对象、成员方法及函数的概念。通过超市商品分类的例子,形象地解释了“类型”的概念,如整型(int)和字符串(str)是两种不同的数据类型。整型对象支持数字求和,字符串对象支持拼接。使用`isinstance`函数可以判断对象是否属于特定类型,例如判断变量是否为整型。此外,还探讨了面向对象编程(OOP)与面向过程编程的区别,并简要介绍了`type`和`help`函数的用法。最后总结指出,不同类型的对象有不同的运算和方法,如字符串有`find`和`index`方法,而整型没有。更多内容可参考文末提供的蓝桥、GitHub和Gitee链接。
173 11
|
6月前
|
存储 数据采集 大数据
Python推导式进阶指南:优雅初始化序列的科学与艺术
本文系统讲解Python推导式的用法与技巧,涵盖列表、字典、集合推导式及生成器表达式。通过代码示例和性能对比,展示推导式在数据结构初始化中的优势:简洁高效、执行速度快30%-50%。文章分析基础语法、核心应用场景(如序列构造、键值对转换、去重运算)及嵌套使用,并探讨使用边界与最佳实践,强调可读性优先原则。最后指出,合理运用推导式能显著提升代码质量和处理效率,同时避免过度复杂化的陷阱。
188 0
|
开发者 Python
Python对象和类
Python对象和类
59 0
|
Python 容器
【Python零基础入门篇 · 20】:可迭代对象和迭代器的转换、自定义迭代器类、异常类、生成器
【Python零基础入门篇 · 20】:可迭代对象和迭代器的转换、自定义迭代器类、异常类、生成器
226 0
【Python零基础入门篇 · 20】:可迭代对象和迭代器的转换、自定义迭代器类、异常类、生成器
|
索引 Python
Python的对象与类
Python从设计之初就已经是一门面向对象的语言,正因为如此,在Python中创建一个类和对象是很容易的。首先需要明确,面向对象编程不是python独有的;面向对象是一种编程思想;在面向对象的思想中万物都是对象。
183 0
Python的对象与类

推荐镜像

更多