Python秒开100G数据是怎么办到的？
在这个数据爆炸的时代，我们通常要对海量的数据进行分析，少则几十G，多则上百G，对于这样的数据我们打开都很困难，又该如何分析呢？通常都会采取下面几个方案：
- 对数据抽样；
- 使用分布式计算；
- 使用强大的服务器。
本文让我们来了解一个低成本又速度快的方法，使用一个强大的Python库-vaex来实现海量数据的读取和操作。
Vaex是一个开源的DataFrame库，它可以对表格数据集进行可视化、探索、分析，甚至机器学习，这些数据集和你的硬盘驱动器一样大。它可以在一个n维网格上每秒计算超过10亿（10^9）个对象的平均值、和、计数、标准差等统计信息。可视化使用直方图、使用直方图、密度图和3D立体渲染进行可视化。为此，Vaex采用了内存映射、高效的外核算法和延迟计算等概念来获得最佳性能（不浪费内存）。所有这些都封装在一个类似Pandas的API中。
安装vaex
vaex的安装方式和其他的库没有什么不同，我们直接pip安装即可，安装的时候会一并安装很多关联的库，所以推荐使用国内的镜像进行安装。
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple vaex使用vaex
在使用之前我们先来看一下官方给出的读取100G数据时的效率。
根据上图可以看到打开了一个107G的数据用了52毫秒，下面让我们用一个小一些的样本来检验一下。
把CSV数据转换成hdf5
在vaex中提供了把csv数据转换成hdf5（内存可映射文件格式）数据的方式，内存可映射格式后，即使在磁盘上的大小超过100GB，也可以使用Vaex即时打开。
df = vaex.open('Data_Action_201602.csv')
df.export_hdf5('Data_Action_201602.hdf5')先来看一下我要使用的数据大小：
!ls -l -h Data_Action_201602.hdf5-rw-r--r-- 1 seven staff 778M 7 16 14:31 Data_Action_201602.hdf5使用vaex
从上面的信息可以看到，数据的大小有778M，我们如果用pandas打开该数据的话估计也需要很久的时间，下面让我们来尝试一下使用vaex。
博主电脑配置：2018MacPro+六核Intel Core i7+16G RAM。
%%time
df = vaex.open('Data_Action_201602.hdf5')CPU times: user 5.06 ms, sys: 1.54 ms, total: 6.6 ms
Wall time: 15.7 ms可以看到，我们耗时15.7毫秒，在一瞬间就完成了打开文件的操作，下面再进行一个快速检查数据的操作：
%%time
df
根据结果可以看出，阅览数据的时候仅仅用了4微秒，这有多快我就不必多说了吧～
再让我们使用describe方法获得 DataFrame 的高级概览来看一下。
%%time
df.describe()
可以看到1000万条的数据的计算时间还不到1秒，的确是快到飞起。
vaex的简便操作
光从简单的数据操作上还不足以让我们想要使用vaex，下面来简单介绍几种之前让我们头疼的想法，看一下vaex是怎么实现的。
在使用pandas的时候，我们很难直接对两列中所有的数据进行运算操作，但是vaex重新封装了这些操作，使得这种运算是完全可行的：
df['new_data'] = (df.type + df.cate)*100
df.new_data.valuesarray([ 900, 1400, 900, ..., 1400, 1400, 1400])筛选数据：
df.select(df.new_data<1000)
df.evaluate(df.new_data, selection=True)array([900, 900, 600, ..., 800, 800, 500])统计学计算：
df.count(), df.mean(df.new_data), df.mean(df.new_data, selection=True)(array(11485424), array(1027.95480602), array(701.08164584))除了这些，vaex还提供了很多简单的函数功能，同时该数据也可以直接用于图表的绘制，具体可以参考文末给出的操作文档。
为什么要选择vaex
看完了vaex的一些简单操作，下面再来看一下为什么要选择vaex：
- 性能：处理海量表格数据，每秒处理超过十亿行
- 虚拟列：动态计算，不浪费内存
- 高效的内存在执行过滤/选择/子集时没有内存副本。
- 可视化：直接支持，单线通常就足够了。
- 用户友好的API：只需处理一个数据集对象，制表符补全和docstring可以帮助你：ds.mean，类似于Pandas。
- 精益：分成多个包
- Jupyter集成：vaex-jupyter将在Jupyter笔记本和Jupyter实验室中提供交互式可视化和选择。
vaex的相关网站
Vaex 官方网站：https://vaex.io/
文档：https：//docs.vaex.io/
GitHub：https : //github.com/vaexio/vaex
PyPi：https：//pypi.python.org/pypi/vaex/
