Pandas简介
Pandas是基于NumPy的一个数据处理工具，该工具是为了解决数据分析任务而创建的。Pandas纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。Pandas提供了大量能使我们快速便捷地处理数据的函数和方法。
Pandas的主要特点
- 使用默认和自定义索引的快速高效的DataFrame对象。
- 用于将数据从不同文件格式加载到内存数据对象的工具。
- 数据对齐和缺失数据的集成处理。
- 重新设置和旋转日期集。
- 大数据集的基于标签的分片，索引和子集。
- 数据结构中的列可以被删除或插入。
- 按数据分组进行聚合和转换。
- 高性能的数据合并和连接。
- 时间序列功能，支持日期范围生成、频率转换、移动窗口统计、移动窗口线性回归、日期位移等时间序列功能。
Pandas数据结构
Pandas包含以下三个建立在Numpy数组上的数据结构 。
| 数据结构 | 维数 | 描述 | 描述 |
系列(Series) |
1 | 一维同构数组 | 均匀数据、尺寸大小不变、数据的值可变 |
数据帧(DataFrame) |
2 | 大小可变的二维异构表格 | 异构数据、大小可变、数据可变 |
面板(Panel) |
3 | 具有异构数据的三维数据结构 | 异构数据、大小可变、数据可变 |
考虑这些数据结构的最好方法是，较高维数据结构是其较低维数据结构的容器。 例如， DataFrame是Series的容器，Panel是DataFrame的容器。
创建对象
Pandas默认自动生成整数索引
用数组生成Series
s = pd.Series([1, 3, 5, np.nan, 6, 8]) s 复制代码
运行结果：
0 1.0 1 3.0 2 5.0 3 NaN 4 6.0 5 8.0 dtype: float64 复制代码
用日期时间索引与NumPy数组生成DataFrame。
dates = pd.date_range('20130101', periods=6) print(dates) print("--------------------------------------------") df = pd.DataFrame(np.random.randn(6, 4), index=dates, columns=list('ABCD')) print(df) 复制代码
运行结果：
DatetimeIndex(['2013-01-01', '2013-01-02', '2013-01-03', '2013-01-04', '2013-01-05', '2013-01-06'], dtype='datetime64[ns]', freq='D') -------------------------------------------- A B C D 2013-01-01 0.581156 0.927140 0.418510 -0.821204 2013-01-02 0.371722 -0.064795 0.896788 -0.411426 2013-01-03 1.269228 -0.052472 0.502939 1.218583 2013-01-04 -0.305827 1.448368 1.197606 -0.329779 2013-01-05 -1.605675 2.470950 0.475849 -0.261321 2013-01-06 0.869420 0.932919 0.203338 -1.039685 复制代码
用Series字典对象生成DataFrame
# df2 = pd.DataFrame({'A': 1., 'B': pd.Timestamp('20130102'), 'C': pd.Series(1, index=list(range(4)), dtype='float32'), 'D': np.array([3] * 4, dtype='int32'), 'E': pd.Categorical(["test", "train", "test", "train"]), 'F': 'foo'}) print(df2) print("--------------------------------------------") # DataFrame 的列有不同数据类型 print(df2.dtypes) 复制代码
运行结果：
A B C D E F 0 1.0 2013-01-02 1.0 3 test foo 1 1.0 2013-01-02 1.0 3 train foo 2 1.0 2013-01-02 1.0 3 test foo 3 1.0 2013-01-02 1.0 3 train foo -------------------------------------------- A float64 B datetime64[ns] C float32 D int32 E category F object dtype: object 复制代码
查看数据
查看DataFrame头部、尾部数据以及索引和列名
# 查看DataFrame头部和尾部数据 print(df.head(2)) print("---------") print(df.tail(3)) print("---------") # 查看索引与列名 print(df.index) print("---------") print(df.columns) 复制代码
运行结果：
A B C D 2013-01-01 0.581156 0.927140 0.418510 -0.821204 2013-01-02 0.371722 -0.064795 0.896788 -0.411426 --------- A B C D 2013-01-04 -0.305827 1.448368 1.197606 -0.329779 2013-01-05 -1.605675 2.470950 0.475849 -0.261321 2013-01-06 0.869420 0.932919 0.203338 -1.039685 --------- DatetimeIndex(['2013-01-01', '2013-01-02', '2013-01-03', '2013-01-04', '2013-01-05', '2013-01-06'], dtype='datetime64[ns]', freq='D') --------- Index(['A', 'B', 'C', 'D'], dtype='object') 复制代码
DataFrame 转换成 NumPy 对象(DataFrame.to_numpy())
注意： DataFrame 的列由多种数据类型组成时，该操作耗费系统资源较大。同时
DataFrame.to_numpy()的输出不包含行索引和列标签。
Pandas 和 NumPy 的本质区别：NumPy 数组只有一种数据类型，DataFrame 每列的数据类型各不相同。
当调用 DataFrame.to_numpy() 时，Pandas 查找支持 DataFrame 里所有数据类型的 NumPy 数据类型。还有一种数据类型是 object，可以把 DataFrame 列里的值强制转换为 Python 对象。
# 当DataFrame里的值都是浮点数时，DataFrame.to_numpy()的操作会很快，而且不复制数据。 print(df.to_numpy()) print("------------") # 当DataFrame中包含了多种类型，DataFrame.to_numpy()的操作就会耗费较多资源。 print(df2.to_numpy()) 复制代码
运行结果：
[[ 0.58115588 0.92713986 0.41851012 -0.82120405] [ 0.37172229 -0.06479531 0.89678779 -0.41142571] [ 1.26922774 -0.05247208 0.50293895 1.21858323] [-0.30582652 1.4483678 1.19760636 -0.3297786 ] [-1.60567514 2.47095001 0.47584868 -0.26132112] [ 0.86941951 0.93291938 0.20333811 -1.03968497]] ------------ [[1.0 Timestamp('2013-01-02 00:00:00') 1.0 3 'test' 'foo'] [1.0 Timestamp('2013-01-02 00:00:00') 1.0 3 'train' 'foo'] [1.0 Timestamp('2013-01-02 00:00:00') 1.0 3 'test' 'foo'] [1.0 Timestamp('2013-01-02 00:00:00') 1.0 3 'train' 'foo']] 复制代码
快速查看数据的统计摘要
print(df.describe()) 复制代码
运行结果：
A B C D count 6.000000 6.000000 6.000000 6.000000 mean 0.196671 0.943685 0.615838 -0.274139 std 1.027852 0.958853 0.362994 0.791918 min -1.605675 -0.064795 0.203338 -1.039685 25% -0.136439 0.192431 0.432845 -0.718759 50% 0.476439 0.930030 0.489394 -0.370602 75% 0.797354 1.319506 0.798326 -0.278435 max 1.269228 2.470950 1.197606 1.218583 复制代码
转置数据、按轴排序和按值排序
# 转置数据 print(df.T) print("----------------------") # 按轴排序：ascending=False表示降序，默认为升序， axis=1表示列 print(df.sort_index(axis=1, ascending=False)) # axis=0表示行 print(df.sort_index(axis=0, ascending=False)) print("----------------------") # 按值排序 print(df.sort_values(by='B')) 复制代码
运行结果：
2013-01-01 2013-01-02 2013-01-03 2013-01-04 2013-01-05 2013-01-06 A 0.581156 0.371722 1.269228 -0.305827 -1.605675 0.869420 B 0.927140 -0.064795 -0.052472 1.448368 2.470950 0.932919 C 0.418510 0.896788 0.502939 1.197606 0.475849 0.203338 D -0.821204 -0.411426 1.218583 -0.329779 -0.261321 -1.039685 ---------------------- D C B A 2013-01-01 -0.821204 0.418510 0.927140 0.581156 2013-01-02 -0.411426 0.896788 -0.064795 0.371722 2013-01-03 1.218583 0.502939 -0.052472 1.269228 2013-01-04 -0.329779 1.197606 1.448368 -0.305827 2013-01-05 -0.261321 0.475849 2.470950 -1.605675 2013-01-06 -1.039685 0.203338 0.932919 0.869420 A B C D 2013-01-06 0.869420 0.932919 0.203338 -1.039685 2013-01-05 -1.605675 2.470950 0.475849 -0.261321 2013-01-04 -0.305827 1.448368 1.197606 -0.329779 2013-01-03 1.269228 -0.052472 0.502939 1.218583 2013-01-02 0.371722 -0.064795 0.896788 -0.411426 2013-01-01 0.581156 0.927140 0.418510 -0.821204 ---------------------- A B C D 2013-01-02 0.371722 -0.064795 0.896788 -0.411426 2013-01-03 1.269228 -0.052472 0.502939 1.218583 2013-01-01 0.581156 0.927140 0.418510 -0.821204 2013-01-06 0.869420 0.932919 0.203338 -1.039685 2013-01-04 -0.305827 1.448368 1.197606 -0.329779 2013-01-05 -1.605675 2.470950 0.475849 -0.261321
