1 简介

大家好我是费老师，前两天pandas正式发布了其2.0.0版本，作为一次大版本更新，pandas针对底层进行了大量的重构以优化性能和稳定性，其有关这次更新内容的说明文档更是洋洋洒洒非常繁杂。

我们作为日常使用pandas的用户，并不需要了解过多底层更新内容，只需要学习如何使用新版pandas为自己提质提效就行，今天的文章话不多说，直接带大家速通新版pandas干货内容😎。

2 速通pandas 2.0新版本干货内容

为了下文中方便进行演示，我们创建新的虚拟环境来测试新版pandas性能表现：

conda create -n pandas2.0-test python=3.8 -y
conda activate pandas2.0-test
pip install pandas pyarrow jupyterlab

2.1 数据读取及运算性能提升

我们对新版pandas的最大期待就是1个字——快，因为经过15年的发展，pandas的分析功能已经相当丰富，API语法也足够简单高效，但在处理较大型数据集时的速度和内存占用属实捉急。

因此新版pandas引入了基于高性能运算库arrow的一系列常用数据类型，作为对默认基于numpy的数据类型的代替。

我们测试使用到的数据集来自（https://www.kaggle.com/datasets/kartik2112/fraud-detection），针对其中的fraudTrain.csv文件进行读取，这个文件大小为三百多兆，我们分别采用3种不同的方式进行读取：

可以看到，新版pandas中最优的参数组合，足足比默认的参数快了将近20倍🚀，查看使用pyarrow数据类型后端读入的数据框，可以发现类型都已经切换到pyarrow的常用类型：

得益于新的数据类型支持，很多常用的运算操作都要比默认情况下快上很多，其中数值型运算提升幅度很小，但是针对字符型的提升幅度相当大，如下面例子中的startswith()判断就快了接近50倍：

2.2 “修改时复制”机制

“修改时复制”作为一种优化机制，在1.5版本中开始引入pandas，并在2.0中对pandas中大多数运算操作进行了支持，且很有可能在3.0版本中作为默认的策略。

一言以蔽之，“修改时复制”机制就是一种惰性复制机制，可以帮助我们在运算过程中自动避免很多不必要的数据复制操作，下面我们来看一些例子：

在默认情况下，如果我们像下面这样将df的field1列直接赋值给了field1，再对field1中的值进行修改，就会导致原先的df中的对应值也被修改了，这种机制本意是避免赋值时频繁的数据复制占用内存，但很容易让我们不小心篡改了原始数据：

而“修改时复制”机制，则会在频繁复制数据，和避免篡改数据之间进行兼顾（当前版本需要设置全局参数mode.copy_on_write为True以启用）：

也就是说，新版pandas中的“修改时复制”机制，会自动检测从源数据中衍生出的数据自身是否发生了值修改，并在修改时才进行数据复制操作，保证了分析过程的高效性和稳定性😋。