1 Pandas 介绍
Pandas是python的一个数据分析包，最初由AQR Capital Management于2008年4月开发，并于2009年底开源出来，目前由专注于Python数据包开发的PyData开发team继续开发和维护，属于PyData项目的一部分。Pandas最初被作为金融数据分析工具而开发出来，因此，pandas为时间序列分析提供了很好的支持。 Pandas的名称来自于面板数据（panel data）和python数据分析（data analysis）。panel data是经济学中关于多维数据集的一个术语，在Pandas中也提供了panel的数据类型。
Pandas用于广泛的领域，包括金融，经济，统计，分析等学术和商业领域。在本教程中，我们将学习Python Pandas的各种功能以及如何在实践中使用它们。
2 Pandas 主要特点
- 快速高效的DataFrame对象，具有默认和自定义的索引。
- 将数据从不同文件格式加载到内存中的数据对象的工具。
- 丢失数据的数据对齐和综合处理。
- 重组和摆动日期集。
- 基于标签的切片，索引和大数据集的子集。
- 可以删除或插入来自数据结构的列。
- 按数据分组进行聚合和转换。
- 高性能合并和数据加入。
- 时间序列功能。
3 Pandas 数据结构
Series：一维数组，与Numpy中的一维array类似，二者与Python基本的数据结构List也很相近。Series如今能保存不同种数据类型，字符串、boolean值、数字等。Time-Series：以时间为索引的Series。DataFrame：二维的表格型数据结构，很多功能与R中的data.frame类似，可以将DataFrame理解为Series的容器。Panel：三维数组，可以理解为DataFrame的容器。
如果大家对pandas陌生的话，可以随便百度，google相关例子，每日练习即可。下面是本篇文章的主要介绍的内容，就是有关在日常使用提高效率的pandas相关的工具包
4 pandas-profiling
从pandas DataFrame对象中创建HTML形式的分析报告
官方链接：https://github.com/pandas-profiling/pandas-profiling
4.1 安装命令
pip install pandas-profiling[notebook]
4.2 简单实例
生成一个DataFrame
import numpy as np import pandas as pd from pandas_profiling import ProfileReport df = pd.DataFrame( np.random.rand(100, 5), columns=["a", "b", "c", "d", "e"] )
生成分析报告
profile = ProfileReport(df, title="Pandas Profiling Report")
大家可以观摩下pandas_profiling 在Titanic Dataset数据上生成的数据分析报告，真的很强大！
具体报告在：https://pandas-profiling.github.io/pandas-profiling/examples/master/titanic/titanic_report.html
更多例子以及使用方法请参照官方链接，刚开一展身手吧~
5 missingno
数据集非常混乱?含有缺失值?missingno提供了一组灵活且易于使用的缺失数据可视化工具和实用程序，使开发者能够快速地可视化总结数据集的完整性(或缺失性)。
官方链接：https://github.com/ResidentMario/missingno
5.1 安装命令
直接通过pip即可安装
pip install missingno
5.2 简单实例
通过quilt来下载案例数据
$ pip install quilt $ quilt install ResidentMario/missingno_data
然后加载数据
>>> from quilt.data.ResidentMario import missingno_data >>> collisions = missingno_data.nyc_collision_factors() >>> collisions = collisions.replace("nan", np.nan)
分析缺失值分布
>>> import missingno as msno >>> %matplotlib inline >>> msno.bar(collisions.sample(1000))
缺失值比例
6 swifter
加速panda的DataFrame或Series的apply任何函数的运算工具包。
官方链接：https://github.com/jmcarpenter2/swifter
6.1 安装命令
$ pip install -U pandas # upgrade pandas $ pip install swifter # first time installation $ pip install -U swifter # upgrade to latest version if already installed
6.2 简单实例
df = pd.DataFrame({'x': [1, 2, 3, 4], 'y': [5, 6, 7, 8]}) # runs on single core df['x2'] = df['x'].apply(lambda x: x**2) # runs on multiple cores df['x2'] = df['x'].swifter.apply(lambda x: x**2) # use swifter apply on whole dataframe df['agg'] = df.swifter.apply(lambda x: x.sum() - x.min()) # use swifter apply on specific columns df['outCol'] = df[['inCol1', 'inCol2']].swifter.apply(my_func) df['outCol'] = df[['inCol1', 'inCol2', 'inCol3']].swifter.apply(my_func, positional_arg, keyword_arg=keyword_argval)
7 pandarallel
一个简单高效的pandas运算工具，然cpu烧起来吧！
官方链接：https://github.com/nalepae/pandarallel
7.1 安装命令
$ pip install pandarallel [--upgrade] [--user]
7.2 使用方法
| Without parallelization | With parallelization |
df.apply(func) |
df.parallel_apply(func) |
df.applymap(func) |
df.parallel_applymap(func) |
df.groupby(args).apply(func) |
df.groupby(args).parallel_apply(func) |
df.groupby(args1).col_name.rolling(args2).apply(func) |
df.groupby(args1).col_name.rolling(args2).parallel_apply(func) |
df.groupby(args1).col_name.expanding(args2).apply(func) |
df.groupby(args1).col_name.expanding(args2).parallel_apply(func) |
series.map(func) |
series.parallel_map(func) |
series.apply(func) |
series.parallel_apply(func) |
series.rolling(args).apply(func) |
|
8 pytablewriter
pandas输出格式化工具：CSV / Elasticsearch / HTML / JavaScript / JSON / LaTeX / LDJSON / LTSV / Markdown / MediaWiki / NumPy / Excel / Pandas / Python / reStructuredText / SQLite / TOML / TSV / YAML.
官方链接：https://github.com/thombashi/pytablewriter#installation-pip
8.1 安装命令
pip install pytablewriter
8.2 实例
from textwrap import dedent import pandas as pd import io from pytablewriter import MarkdownTableWriter def main(): csv_data = io.StringIO(dedent("""\ "i","f","c","if","ifc","bool","inf","nan","mix_num","time" 1,1.10,"aa",1.0,"1",True,Infinity,NaN,1,"2017-01-01 00:00:00+09:00" 2,2.20,"bbb",2.2,"2.2",False,Infinity,NaN,Infinity,"2017-01-02 03:04:05+09:00" 3,3.33,"cccc",-3.0,"ccc",True,Infinity,NaN,NaN,"2017-01-01 00:00:00+09:00" """)) df = pd.read_csv(csv_data, sep=',') writer = MarkdownTableWriter() writer.from_dataframe(df) writer.write_table() if __name__ == "__main__": main()
