《Python数据分析与挖掘实战》一3.3 Python主要数据探索函数

简介:

本节书摘来自华章出版社《Python数据分析与挖掘实战》一书中的第3章,第3.3节,作者 张良均 王路 谭立云 苏剑林,更多章节内容可以访问云栖社区“华章计算机”公众号查看

3.3 Python主要数据探索函数

Python中用于数据探索的库主要是Pandas(数据分析)和Matplotlib(数据可视化)。其中,Pandas提供了大量的与数据探索相关的函数,这些数据探索函数可大致分为统计特征函数与统计作图函数,而作图函数依赖于Matplotlib,所以往往又会跟Matplotlib结合在一起使用。本节对Pandas中主要的统计特征函数与统计作图函数进行介绍,并举例以方便理解。

3.3.1 基本统计特征函数

统计特征函数用于计算数据的均值、方差、标准差、分位数、相关系数和协方差等,这些统计特征能反映出数据的整体分布。本小节所介绍的统计特征函数如表3-8所示,它们主要作为Pandas的对象DataFrame或Series的方法出现。
image

(1)sum
功能:计算数据样本的总和(按列计算)。
使用格式:
D.sum()
按列计算样本D的总和,样本D可为DataFrame或者Series。
(2)mean
功能:计算数据样本的算术平均数。
使用格式:
D.mean()
按列计算样本D的均值,样本D可为DataFrame或者Series。
(3)var
功能:计算数据样本的方差。
使用格式:
D.var()
按列计算样本D的均值,样本D可为DataFrame或者Series。
(4)std
功能:计算数据样本的标准差。
使用格式:
D.std()
按列计算样本D的均值,样本D可为DataFrame或者Series。
(5)corr
功能:计算数据样本的Spearman(Pearson)相关系数矩阵。
使用格式:
D.corr(method='pearson')
样本D可为DataFrame,返回相关系数矩阵,method参数为计算方法,支持pearson(皮尔森相关系数,默认选项)、kendall(肯德尔系数)、spearman(斯皮尔曼系数);
S1.corr(S2, method='pearson') S1、S2均为Series,这种格式指定计算两个Series之间的相关系数。
实例:计算两个列向量的相关系数,采用Spearman方法。
D = pd.DataFrame([range(1, 8), range(2, 9)]) #生成样本D,一行为1~7,一行为2~8
D.corr(method='spearson') #计算相关系数矩阵
S1 = D.loc[0] #提取第一行
S2 = D.loc[1] #提取第二行
S1.corr(S2, method='pearson') #计算S1、S2的相关系数
(6)cov
功能:计算数据样本的协方差矩阵。
使用格式:
D.cov()
样本D可为DataFrame,返回协方差矩阵;
S1.cov(S2) S1、S2均为Series,这种格式指定计算两个Series之间的协方差。
实例:计算6×5随机矩阵的协方差矩阵。

import numpy as np
D = pd.DataFrame(np.random.randn(6, 5)) #产生6×5随机矩阵
D.cov() #计算协方差矩阵
      0         1         2         3         4
0  1.745257 -0.299968  0.850216 -0.484931  1.068187
1 -1.453670  1.460928  0.347299  1.585089  0.595347
2 -0.751128  0.504498 -1.244944 -0.672183 -0.595296
3 -0.423802 -1.086470  0.637264  0.873043 -0.506736
4  0.969907  0.721997 -0.550993  1.033300 -0.903234
5 -0.705159  0.385077  0.120580  0.347470  2.036798
D[0].cov(D[1]) #计算第一列和第二列的协方差
0.5

(7)skew/kurt
功能:计算数据样本的偏度(三阶矩)/ 峰度(四阶矩)。
使用格式:
D.skew() / D.kurt()
计算样本D的偏度(三阶矩)/ 峰度(四阶矩)。样本D可为DataFrame或Series。
实例:计算6×5随机矩阵的偏度(三阶矩)/ 峰度(四阶矩)。

import numpy as np
D = pd.DataFrame(np.random.randn(6, 5)) #产生6×5随机矩阵
D.skew()
0   -0.210246
1   -0.348367
2   -1.152183
3   -0.378802
4   -0.859889
dtype: float64
D.kurt()
0   -0.191062
1   -1.831973
2    1.171797
3   -1.529854
4    1.494526
dtype: float64

(8)describe
功能:直接给出样本数据的一些基本的统计量,包括均值、标准差、最大值、最小值、分位数等。
使用格式:
D.describe()
括号里可以带一些参数,比如percentiles = [0.2, 0.4, 0.6, 0.8]就是指定只计算0.2、0.4、0.6、0.8分位数,而不是默认的1/4、1/2、3/4分位数。
实例:给出6×5随机矩阵的describe。

import numpy as np
D = pd.DataFrame(np.random.randn(6, 5)) #产生6×5随机矩阵
D.describe()
          0         1         2         3         4
count  6.000000  6.000000  6.000000  6.000000  6.000000
mean   0.006958 -0.069822  0.113711 -0.168115 -0.584493
std    1.224979  1.017829  0.939980  1.173083  0.539911
min   -1.777763 -1.330542 -1.512842 -1.674685 -1.507229
25%   -0.669088 -0.937504 -0.202329 -1.109370 -0.721853
50%    0.176010  0.130924  0.472093  0.115791 -0.537366
75%    0.578993  0.650975  0.516907  0.538483 -0.305514
max    1.704960  1.119084  1.146215  1.272789  0.086585

3.3.2 拓展统计特征函数

除了上述基本的统计特征外,Pandas还提供了一些非常方便实用的计算统计特征的函数,主要有累积计算(cum)和滚动计算(pd.rolling_),见表3-8和表3-9。
image
image

其中,cum系列函数是作为DataFrame或Series对象的方法而出现的,因此命令格式为D.cumsum(),而rolling_系列是pandas的函数,不是DataFrame或Series对象的方法,因此,它们的使用格式为pd.rolling_mean(D, k),意思是每k列计算一次均值,滚动计算。
实例:

D=pd.Series(range(0, 20)) #构造Series,内容为0~19共20个整数
D.cumsum() #给出前n项和
0       0
1       1
2       3
3       6
……
19    190
dtype: int32
pd.rolling_sum(D, 2) #依次对相邻两项求和
0    NaN
1      1
2      3
3      5
……
19    37
dtype: float64

3.3.3 统计作图函数

通过统计作图函数绘制的图表可以直观地反映出数据及统计量的性质及其内在规律,如盒图可以表示多个样本的均值,误差条形图能同时显示下限误差和上限误差,最小二乘拟合曲线图能分析两变量间的关系。
Python的主要作图库是Matplotlib,在第2章中已经进行了初步的介绍,而Pandas基于Matplotlib并对某些命令进行了简化,因此作图通常是Matplotlib和Pandas相互结合着使用。本小节仅对一些基本的作图函数做一下简介,而真正灵活地使用应当参考书中所给出的各个作图代码清单。我们要介绍的统计作图函数如表3-8所示。
image

在作图之前,通常要加载以下代码。

import matplotlib.pyplot as plt #导入作图库
plt.rcParams['font.sans-serif'] = ['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False #用来正常显示负号
plt.figure(figsize = (7, 5)) #创建图像区域,指定比例

作图完成后,一般通过plt.show()来显示作图结果。
(1)plot
功能:绘制线性二维图、折线图。
使用格式:
plt.plot(x, y, S)
这是Matplotlib通用的绘图方式,绘制y对于x(即以x为横轴的二维图形),字符串参量S指定绘制时图形的类型、样式和颜色,常用的选项有:'b'为蓝色、'r'为红色、'g'为绿色、'o'为圆圈、'+'为加号标记、'-'为实线、'--'为虚线。当x、y均为实数同维向量时,则描出点(x(i), y(i)),然后用直线依次相连。
D.plot(kind = 'box')
这里使用的是DataFrame或Series对象内置的方法作图,默认以Index为横坐标,每列数据为纵坐标自动作图,通过kind参数指定作图类型,支持line(线)、bar(条形)、barh、hist(直方图)、box(箱线图)、kde(密度图)和area、pie(饼图)等,同时也能够接受plt.plot()中接受的参数。因此,如果数据已经被加载为Pandas中的对象,那么以这种方式作图是比较简洁的。
实例:在区间(0≤x≤2π)绘制一条蓝色的正弦虚线,并在每个坐标点标上五角星。绘制图形如图3-13所示。

import numpy as np
x = np.linspace(0,2*np.pi,50) #x坐标输入
y = np.sin(x) #计算对应x的正弦值
plt.plot(x, y, 'bp--') #控制图形格式为蓝色带星虚线,显示正弦曲线
plt.show()

(2)pie
功能:绘制饼型图。
使用格式:

plt.pie(size)

使用Matplotlib绘制饼图,其中size是一个列表,记录各个扇形的比例。pie有丰富的参数,详情请参考下面的实例。
实例:通过向量[15, 30, 45, 10]画饼图,注上标签,并将第2部分分离出来。绘制结果如图3-14所示。
image

import matplotlib.pyplot as plt

# The slices will be ordered and plotted counter-clockwise.
labels = 'Frogs', 'Hogs', 'Dogs', 'Logs' #定义标签
sizes = [15, 30, 45, 10] #每一块的比例
colors = ['yellowgreen', 'gold', 'lightskyblue', 'lightcoral'] #每一块的颜色
explode = (0, 0.1, 0, 0) #突出显示,这里仅仅突出显示第二块(即'Hogs')

plt.pie(sizes, explode=explode, labels=labels, colors=colors, autopct='%1.1f%%', shadow=True, startangle=90)
plt.axis('equal') #显示为圆(避免比例压缩为椭圆)
plt.show()

(3)hist
功能:绘制二维条形直方图,可显示数据的分布情形。
使用格式:

Plt.hist(x, y)

其中,x是待绘制直方图的一维数组,y可以是整数,表示均匀分为n组;也可以是列表,列表各个数字为分组的边界点(即手动指定分界点)。
实例:绘制二维条形直方图,随机生成有1000个元素的服从正态分布的数组,分成10组绘制直方图。绘制结果如图3-15所示。

import matplotlib.pyplot as plt
import numpy as np
x = np.random.randn(1000) #1000个服从正态分布的随机数
plt.hist(x, 10) #分成10组进行绘制直方图
plt.show()

(4)boxplot
功能:绘制样本数据的箱形图。
使用格式:

D.boxplot() / D.plot(kind = 'box')

有两种比较简单的方式绘制D的箱形图,其中一种是直接调用DataFrame的boxplot()方法;另外一种是调用Series或者DataFrame的plot()方法,并用kind参数指定箱形图(box)。其中,盒子的上、下四分位数和中值处有一条线段。箱形末端延伸出去的直线称为须,表示盒外数据的长度。如果在须外没有数据,则在须的底部有一点,点的颜色与须的颜色相同。
实例:绘制样本数据的箱形图,样本由两组正态分布的随机数据组成。其中,一组数据均值为0,标准差为1,另一组数据均值为1,标准差为1。绘制结果如图3-16所示。

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
x = np.random.randn(1000) #1000个服从正态分布的随机数
D = pd.DataFrame([x, x+1]).T #构造两列的DataFrame
D.plot(kind = 'box') #调用Series内置的作图方法画图,用kind参数指定箱形图box
plt.show()

(5)plot(logx = True) / plot(logy = True)
功能:绘制x或y轴的对数图形。
使用格式:
D.plot(logx = True) / D.plot(logy = True)
对x轴(y轴)使用对数刻度(以10为底),y轴(x轴)使用线性刻度,进行plot函数绘图,D为Pandas的DataFrame或者Series。
实例:构造指数函数数据使用plot(logy = True)函数进行绘图,绘制结果如图3-17所示。
image

import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False #用来正常显示负号
import numpy as np
import pandas as pd

x = pd.Series(np.exp(np.arange(20))) #原始数据
x.plot(label = u'原始数据图', legend = True)
plt.show()
x.plot(logy = True, label = u'对数数据图', legend = True)
plt.show()

image

(6)plot(yerr = error)
功能:绘制误差条形图。
使用格式:
D.plot(yerr = error)
绘制误差条形图。D为Pandas的DataFrame或Series,代表着均值数据列,而error则是误差列,此命令在y轴方向画出误差棒图;类似地,如果设置参数xerr = error,则在x轴方向画出误差棒图。
实例:绘制误差棒图。绘制结果如图3-18所示。

import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False #用来正常显示负号
import numpy as np
import pandas as pd

error = np.random.randn(10) #定义误差列
y = pd.Series(np.sin(np.arange(10))) #均值数据列
y.plot(yerr = error) #绘制误差图
plt.show()

image

相关文章
|
4天前
|
数据采集 存储 架构师
上进计划 | Python爬虫经典实战项目——电商数据爬取!
在如今这个网购风云从不间歇的时代,购物狂欢持续不断,一年一度的“6.18年中大促”、“11.11购物节”等等成为了网购电商平台的盛宴。在买买买的同时,“如何省钱?”成为了大家最关心的问题。 比价、返利、优惠券都是消费者在网购时的刚需,但在这些“优惠”背后已产生灰色地带。
|
3天前
|
数据采集 存储 开发者
Python爬虫实战:打造高效数据采集工具
本文将介绍如何利用Python编写一个高效的网络爬虫,实现对特定网站数据的快速抓取与处理,帮助开发者更好地应对大规模数据采集的需求。
|
3天前
|
机器学习/深度学习 数据可视化 数据挖掘
Python数据分析:从入门到实践
Python数据分析:从入门到实践
|
3天前
|
数据采集 存储 数据可视化
Python数据分析从入门到实践
Python数据分析从入门到实践
|
21小时前
|
机器学习/深度学习 数据挖掘 数据处理
Python在数据分析中的应用与优势
【2月更文挑战第5天】随着数据时代的来临,Python作为一种强大而灵活的编程语言,在数据分析领域展现出了无可比拟的优势。本文将探讨Python在数据分析中的应用场景和独特之处,带您深入了解这门流行的编程语言在处理数据方面的强大功能。
|
2天前
|
机器学习/深度学习 人工智能 数据挖掘
Python在数据分析中的应用与发展趋势
【2月更文挑战第4天】随着大数据时代的到来,Python作为一种强大的编程语言在数据分析领域得到了广泛应用。本文将深入探讨Python在数据分析中的优势和特点,以及未来的发展趋势,为读者提供深入了解和思考。
9 4
|
2天前
|
数据挖掘 数据处理 Python
使用Python自动化处理Excel数据
【2月更文挑战第4天】在现代社会,数据处理已经成为了一项重要的任务。而Excel作为一款广泛应用于数据处理的软件,已经成为了许多人的首选。不过,对于大规模的数据处理任务,手动进行Excel操作可能是低效的。本文将介绍如何使用Python编程语言来自动化处理Excel数据。
20 9
|
2天前
|
数据可视化 数据挖掘 Python
Python中的数据可视化工具Matplotlib详解
本文将深入探讨Python中广泛应用的数据可视化工具Matplotlib,介绍其基本概念、常用功能和实际应用,帮助读者更好地利用Matplotlib进行数据可视化,提升技术水平。
|
3天前
|
Python
Python中的装饰器:优雅而强大的函数修饰工具
在Python编程中,装饰器是一种强大的工具,它允许我们在不改变原始函数代码的情况下,通过添加额外的功能来修饰函数。本文将深入探讨Python中装饰器的定义、基本语法和实际运用,帮助读者更好地理解并灵活运用这一技术。
|
3天前
|
数据采集 前端开发 JavaScript