python cPickle 与 pickle模块序列化详解

简介: python cPickle 与 pickle模块序列化详解

python 模块 cPickle 与 pickle 序列化

文章目录

1. 序列化

cPickle 模块通过实现将任意 python 对象转换为一系列 Bytes 的算法来帮助我们。Pickle 模块也带有类似类型的程序。但是 2 之间的区别在于cPickle 更快并且在 C 中实现了算法。cPickle 优于 Pickle 的唯一缺点是它不允许用户从 Pickle 子类化。简而言之,我们可以得出结论,使用 cPickle 是出于对象序列化的动机。


对象的序列化在很多高级编程语言中都有相应的实现,Python也不例外。程序

运行时,所有的变量都是在内存中的,例如在程序中声明一个dict对象,里面存储 着爬取的页面的链接、页面的标题、页面的摘要等信息:

   d = dict(url='index.html',title='首页',content='首页')

在程序运行的过程中爬取的页面的链接会不断变化,比如把url改成了 second.html,但是程序一结束或意外中断,程序中的内存变量都会被操作系统进 行回收。如果没有把修改过的url存储起来,下次运行程序的时候,url被初始化为 index.html,又是从首页开始,这是我们不愿意看到的。所以把内存中的变量变成 可存储或可传输的过程,就是序列化。

将内存中的变量序列化之后,可以把序列化后的内容写入磁盘,或者通过网络 传输到别的机器上,实现程序状态的保存和共享。反过来,把变量内容从序列化的 对象重新读取到内存,称为反序列化。

在Python中提供了两个模块:cPickle和pickle来实现序列化,前者是由C语 言编写的,效率比后者高很多,但是两个模块的功能是一样的。一般编写程序的时 候,采取的方案是先导入cPickle模块,如果此模块不存在,再导入pickle模块。 示例如下:

 try:        
     import cPickle as pickle     
 except ImportError:        
     import pickle

pickle实现序列化主要使用的是dumps方法或pickle实现序列化主要使用的是方法。dumps方法可以将任 意对象序列化成一个str,然后可以将这个str写入文件进行保存。在Python

dumps将对象序列化为str

>>> import cPickle as pickle     
>>> d = dict(url='index.html',title='首页',content='首页')     
>>> pickle.dumps(d)     
"(dp1\nS'content'\np2\nS'\\xca\\xd7\\xd2\\xb3'\np3\nsS'url'\np4\nS'index.html'\n     p5\nsS'title'\np6\ng3\ns."

dump写入文件

>>> f=open(r'D:\dump.txt','wb')     
 >>> pickle.dump(d,f)     >>>
 >>> f.close()

2. 反序列化

pickle实现反序列化使用的是loads方法或load方法。把序列化后的文件从磁 盘上读取为一个str,然后使用loads方法将这个str反序列化为对象,或者直接使 用load方法将文件直接反序列化为对象,如下所示:

>>> f=open(r'D:\dump.txt','rb')     
>>> d=pickle.load(f)     
>>> f.close()     
>>> d     
{'content': '\xca\xd7\xd2\xb3', 'url': 'index.html', 'title': '\xca\xd7\xd2\xb3'}

通过反序列化,存储为文件的dict对象,又重新恢复出来,但是这个变量和原 变量没有什么关系,只是内容一样。以上就是序列化操作的整个过程。

假如我们想在不同的编程语言之间传递对象,把对象序列化为标准格式是关 键,例如XML,但是现在更加流行的是序列化为JSON格式,既可以被所有的编程语 言读取解析,也可以方便地存储到磁盘或者通过网络传输。python json文本操作请参考


参考:


cPickle in Python Explained With Examples

Serializing Data Using the pickle and cPickle Modules

pickle and cPickle – Python object serialization

“python3 cpickle” Code Answer’s


相关文章
|
7月前
|
SQL 关系型数据库 数据库
Python SQLAlchemy模块:从入门到实战的数据库操作指南
免费提供Python+PyCharm编程环境,结合SQLAlchemy ORM框架详解数据库开发。涵盖连接配置、模型定义、CRUD操作、事务控制及Alembic迁移工具,以电商订单系统为例,深入讲解高并发场景下的性能优化与最佳实践,助你高效构建数据驱动应用。
835 7
|
7月前
|
监控 安全 程序员
Python日志模块配置:从print到logging的优雅升级指南
从 `print` 到 `logging` 是 Python 开发的必经之路。`print` 调试简单却难维护,日志混乱、无法分级、缺乏上下文;而 `logging` 支持级别控制、多输出、结构化记录,助力项目可维护性升级。本文详解痛点、优势、迁移方案与最佳实践,助你构建专业日志系统,让程序“有记忆”。
550 0
|
7月前
|
JSON 算法 API
Python中的json模块:从基础到进阶的实用指南
本文深入解析Python内置json模块的使用,涵盖序列化与反序列化核心函数、参数配置、中文处理、自定义对象转换及异常处理,并介绍性能优化与第三方库扩展,助你高效实现JSON数据交互。(238字)
592 4
|
7月前
|
Java 调度 数据库
Python threading模块:多线程编程的实战指南
本文深入讲解Python多线程编程,涵盖threading模块的核心用法:线程创建、生命周期、同步机制(锁、信号量、条件变量)、线程通信(队列)、守护线程与线程池应用。结合实战案例,如多线程下载器,帮助开发者提升程序并发性能,适用于I/O密集型任务处理。
685 0
|
7月前
|
XML JSON 数据处理
超越JSON:Python结构化数据处理模块全解析
本文深入解析Python中12个核心数据处理模块,涵盖csv、pandas、pickle、shelve、struct、configparser、xml、numpy、array、sqlite3和msgpack,覆盖表格处理、序列化、配置管理、科学计算等六大场景,结合真实案例与决策树,助你高效应对各类数据挑战。(238字)
902 0
|
7月前
|
JSON 网络协议 安全
【Java】(10)进程与线程的关系、Tread类;讲解基本线程安全、网络编程内容;JSON序列化与反序列化
几乎所有的操作系统都支持进程的概念,进程是处于运行过程中的程序,并且具有一定的独立功能,进程是系统进行资源分配和调度的一个独立单位一般而言,进程包含如下三个特征。独立性动态性并发性。
347 1
|
7月前
|
JSON 网络协议 安全
【Java基础】(1)进程与线程的关系、Tread类;讲解基本线程安全、网络编程内容;JSON序列化与反序列化
几乎所有的操作系统都支持进程的概念,进程是处于运行过程中的程序,并且具有一定的独立功能,进程是系统进行资源分配和调度的一个独立单位一般而言,进程包含如下三个特征。独立性动态性并发性。
343 1
|
11月前
|
存储 Java 编译器
说一说关于序列化/反序列化中的细节问题
我是小假 期待与你的下一次相遇 ~
204 1
|
11月前
|
JSON Java 数据库连接
|
12月前
|
存储 安全 IDE
说一说序列化与反序列化中存在的问题
本文详细解析了Java中的序列化机制,包括序列化的概念、实现方式及应用场景。通过Student类的实例演示了对象的序列化与反序列化过程,并分析了`Serializable`接口的作用以及`serialVersionUID`的重要意义。此外,文章还探讨了如何通过自定义`readObject()`方法增强序列化的安全性,以及解决可序列化单例模式中可能产生的多实例问题。最后提供了代码示例和运行结果,帮助读者深入理解序列化的原理与实践技巧。
286 3

推荐镜像

更多