Chapter2  Python数据分析工具

@TOC

序言

 Python本身的数据分析功能不强，需要安装一些第三方扩展库来增强它的能力。
 如果安装了Anaconda发行版，那么它自带了以下库：Numpu、Scipy、Matplotlib、Pandas、Scikit-Learn。
 本章主要简单介绍这些库，在后面的章节中，会通过各种案例对这些库的使用进行更深入的说明。废话不多说，开始我的表演了！

1. Numpy

 Python并没有提供数组功能。虽然列表可以完成基本的数组功能，但它不是真正的数组，而在数据量较大时，使用列表的速度就会慢得让人难以接受。为此，Numpy提供了真正的数组功能，以及对数据进行快速处理的函数。Numpy还是很多高级的扩展库的依赖库，后面章节介绍的Scipy、Matplotlib、Pandas都依赖于它。值得强调的是，Numpy内置函数处理数据的速度是C语言级别的，因此在编写程序的时候，应当尽量使用它的内置函数，避免出现效率瓶颈的现象。
 在Windows中，Numpy的安装跟普通的第三方库安装一样：

pip install numpy

也可自行下载源代码，然后用：

python setup.py install  # 安装

 在Linux下上述方面也是可行的。此外，很多Linux发行版的软件源中都有Python常见的库，因此还可以通过Linux自带的软件管理器进行安装，如在Ubuntu下可以用：

sudo apt-get install python-numpy

安装。安装完成以后，就可以进行Numpy的基本操作了。

#  Numpy-----提供数组支持，以及对数据进行快速处理的函数
import numpy as np
a = np.array([2, 0, 2, 0])  # 创建数组
print(a)  # 输出数组
print(a[:3])  # 引用前三个数字(切片)
print(a.min())  # 输出a的最小值
a.sort()  # 将a的元素从小到大排序，此操作直接修改a, 因此这时候a为[0, 0, 2, 2]
print(a)
b = np.array([[1, 2, 3], [4, 5, 6]])  # 创建二维数组
print(b*b)  # 输出数组的平方阵，即[[1, 4, 9],[16, 25, 36]]

[2 0 2 0]  # 输出数组
[2 0 2]    # 引用前三个数字(切片)
0  # 输出a的最小值
[0 0 2 2]  # 将a的元素从小到大排序
[[ 1  4  9]
[16 25 36]]  # 输出数组的平方阵

2.Scipy

 如果说Numpy让Python有了Matlab的味道，那么Scipy就让Python真正地成为了半个Matlab了。Numpy提供了多维数组的功能，但它只是一般的数组，并不是矩阵。例如，当两个数组相乘时，只是对应的元素相乘，而不是矩阵乘法。Scipy提供了真正的矩阵，以及大量基于矩阵运算的对象和函数。
 Scipy包含的功能有最优化、线性代数、积分、插值、拟合、特殊函数、快速傅里叶变换、信号处理和图像处理、常微分方程求解和其他科学于工程中常用的计算，显然，这些功能都是挖掘于建模必备的。
 同样，安装Scipy。安装好以后，进行简单的适用。

# 求解非线性方程组 2x1 - x2^2 = 1, x1^2 - x2 = 2
from scipy.optimize import fsolve  # 导入求解方程组的函数
def f(x):  # 定义要求解的方程组
    x1 = x[0]
    x2 = x[1]
    return [2*x1 - x2**2 - 1, x1**2 - x2 - 2]
result = fsolve(f, [1, 1])  # 输入初值[1, 1]并求解
print(result)  # 输出结果，为array([1.91963957, 1.68501606])
 # 数值积分
from scipy import integrate  # 导入积分函数
def g(x):  # 定义被积函数
    return (1-x**2) ** 0.5
pi_2, err = integrate.quad(g, -1, 1)  # 积分结果和误差
print(pi_2 * 2)  # 由微积分知识知道积分结果为圆周率的一半

[1.91963957 1.68501606]
3.1415926535897967

3.Matplotlib

 不论是数据挖掘还是数学建模，都免不了数据可视化的问题。对于Python来说，Matplotlib时最著名的绘图库，它主要用于二维绘图，当然它也可以进行简单的三维绘图。它不但提供了一整套和Matlab相似但更为丰富的命令，让我们可以非常快捷地使用Python可视化数据，而且允许输出达到出版质量的多种图像格式。
 Matplotlib的安装并没有什么特别之处，可以通过pip install matplotlib安装或者自行下载源代码安装，在Ubuntu下也可以用类似的。

sudo apt-get install python-matplotlib

安装。Matplotlib的上级依赖库相对较多，手动安装的时候，需要逐一把这些依赖库都安装好。安装完成以后就可以牛刀小试了，下面师益简单的作图的例子，它基本包含了Matplotlib作图的关键要素。

import numpy as np
import matplotlib.pyplot as plt  # 导入Matplotlib
x = np.linspace(0, 10, 1000)  # 作图的变量自变量，生成0到10以内的1000个数字。
y = np.sin(x) + 1  # 因变量y
z = np.cos(x**2) + 1  # 因变量z
plt.figure(figsize=(8, 4))   # 设置图像大小
plt.plot(x, y, label= '$\sin x+1$', color='red', linewidth=2)  # 作图，设置标签、线条颜色、线条大小
plt.plot(x, z, 'b--', label='$\cos x^2+1$')  # 作图，设置标签、线条类型
plt.xlabel('Time(s) ')  # x轴名称
plt.ylabel('Volt')  # y轴名称
plt.title('A Simple Example')  # 标题
plt.ylim(0, 2.2)  # 显示的y轴范围
plt.legend()  # 显示图例
plt.show()  # 显示作图结果

结果：

4. Pandas

 终于谈到数据挖掘的主力工具-------Pandas了。Pandas时Python下最强大的数据分析和探索工具。它包含高级的数据结构和精巧的工具，使得在Python中处理数据非常快速和简单。Pandas构建在Numpy之上，它使得以Numpy为中心的应用很容易使用。Pandas的名称来自于面板数据(Panel Data)和Python数据分析(Data Analysis)，它最初被作为金融数据分析工具而开发出来的。
 Pandas的数据结构时Series和DataFrame。顾名思义，Series就是序列，类似一维数组；DataFrame则是相当于一张二维的表格，类似于二维数组，它的每一列都是一个Series。为了定位Series中的元素，Pandas提供了Index对象，每个Series都会带有一个对应的Index，用来标记不同的元素，Index的内容不一定是数字，也可以是字母、中文等，它类似于SQL中的主键。

# Pandas支持类似于SQL的数据增、删、查、改，并且带有丰富的数据处理函数；
# 支持时间序列分析功能；支持灵活处理缺失数据等。
import pandas as pd
s = pd.Series([1, 2, 3], index=['a', 'b', 'c'])  # 创建一个序列s
d = pd.DataFrame([[1, 2, 3], [4, 5, 6]], columns=['a', 'b', 'c'])  # 创建一个表
d2 = pd.DataFrame(s)  # 也可以用已有的序列来创建表格
print(d2)
print(d.head())  # 预览前五行数据
print(d.describe())

0
a  1
b  2
c  3

a  b  c
0  1  2  3
1  4  5  6

    a           b            c
count  2.00000  2.00000  2.00000
mean   2.50000  3.50000  4.50000
std    2.12132  2.12132  2.12132
min    1.00000  2.00000  3.00000
25%    1.75000  2.75000  3.75000
50%    2.50000  3.50000  4.50000
75%    3.25000  4.25000  5.25000
max    4.00000  5.00000  6.00000

Pandas还可以读取文件，注意文件的存储路径不能带有中文，否则可能出错。

import pandas as pd
data = pd.read_excel('data.xlsx', encoding='utf-8')  # 读取Excel文件，否则可能出错
print(data.head())

  名字\成绩  数学   英语    物理   化学
 0    小明    80   80     99   97
 1    小刚    70   55    100   98
 2    小红    90   40     89   93
 3    小美    60   77     90   96
 4    小丽    75   66     93   97

5. StatsModels

 Pandas着眼于数据的读取、处理和探索，而StatsModels则更加注重数据的统计建模分析，它使得Python有了R语言的味道。StatsModels支持于Pandas进行数据交互，因此，它于Pandas结合，成为了Python下强大的数据挖掘组合。
 安装StatsModels非常简单，既可以通过pip安装，又可以通过源码安装。对于Windos用户来说，官网上甚至已经有编译好的exe文件以供下载。如果需要手动安装的话，需要自行解决好依赖问题，StatsModel依赖于Pandas，同时还依赖于pasty。
下面是一个用StatsModels进行ADF平稳性检验的例子

import numpy as np
from statsmodels.tsa.stattools import adfuller as ADF
print(ADF(np.random.rand(100)))  # 返回的结果由ADF值、p值等

(-5.456165403306984, 2.5788676252169965e-06, 7, 92,
{'1%': -3.503514579651927, '5%': -2.893507960466837,
'10%': -2.583823615311909}, 37.35645008144752)

6. Scikit-Learn

 从该库的名字可以看出，这是一个机器学习库。不错，Scikit-Learn是Python下强大的机器学习工具包，它提供了完善的机器学习工具箱，包括数据预处理、分类、回归、聚类、预测和模型分析等。
 Scikit-Learn依赖于Numpy、Scipy和Matplotlib，因此，只需要提前安装好前几个库，然后安装Scikit-Learn就基本上没有什么问题了，安装方法和前几个一样，要不就是pip install scikit-learn安装，要不就是下载源码自己安装。
创建一个机器学习的模型很简单

from sklearn.linear_model import LinearRegression # 导入线性回归模型
model = LinearRegression()  # 建立线性回归模型
print(model)

LinearRegression(copy_X=True, fit_intercept=True, n_jobs=None,
normalize=False)

 Scikit-Learn本身提供了一些实例数据，比较常见的有安德森鸢尾花卉数据集、手写图像数据集等。
 我们有一百五十个鸢尾花的一些尺寸的观测值：萼片长度、宽度，花瓣长度和宽度。还有它们的亚属：山鸢尾（Iris setosa）、变色鸢尾（Iris versicolor）和维吉尼亚鸢尾（Iris virginica）。

from sklearn import datasets
iris = datasets.load_iris()  # 加载数据集
print(iris.data.shape)  # 查看数据集大小
from sklearn import svm  # 导入SVM模型
clf = svm.LinearSVC()  # 建立线性SVM分类器
clf.fit(iris.data, iris.target)  # 用数据训练模型
clf.predict([[5.0, 3.6, 1.3, 0.25]])  # 训练好模型之后，输入新的数据进行预测
print(clf.coef_)  # 查看训练好模型的参数

[[ 0.18423084  0.45122536 -0.80794064 -0.45071191]
[ 0.05586348 -0.89905693  0.40951571 -0.96194199]
[-0.85050286 -0.98667695  1.38114012  1.86557065]]

7. Keras

 虽然Scikit-Learn足够强大，但是它并没有包含一种强大的模型--------人工神经网络。人工神经网络是功能相当强大的、但是原理又相当简单的模型，在语言处理、图像识别等领域有着重要的作用。近年来逐渐火起来的“深度学习”算法，本质上也是一种神经网络，可见在Python中实现神经网络是非常有必要的。
 事实上，Keras并非简单的神经网络库，而是一个基于Threano的强大的深度学习库，利用它不仅仅可以搭建普通的神经网络，还可以搭建各种深度网络模型，如自编码器、循环神经网络、递归神经网络、卷积神经网络等。由于它是基于Threano的，因此速度也相当快。

# 下面的几十行代码搭建一个MLP（多层感知机）
from keras.models import Sequential
from keras.layers.core import Dense, Dropout, Activation
from keras.optimizers import SGD
model = Sequential()  # 模型初始化
model.add(Dense(20, 64))  # 添加输入层(20节点)、第一隐藏层(64节点)的连接
model.add(Activation('tanh'))  # 第一隐藏层用tanh作为激活函数
model.add(Dropout(0.5))  # 使用Dropout防止过拟合
model.add(Dense(64, 64))  # 添加第一隐藏层(64节点)、第二隐藏层(64节点)的连接
model.add(Activation('tanh'))  # 第二隐藏层用tanh作为激活函数
model.add(Dropout(0.5))  # 使用Dropout防止过拟合
model.add(Dense(64, 1))  # 添加第二隐藏层(64节点)、输出层(1节点)的连接
model.add(Activation('sigmod'))  # 输出层用sigmoid作为激活函数
sgd = SGD(lr=0.1, decay=1e-6, momentum=0.9, nesterov=True)  # 定义求解算法
model.fit(X_train, y_train, nb_epoch=20, batch_size=16)  # 训练模型
score = model.evaluate(X_test, y_test, batch_size=16)  # 测试模型

8. Gensim

 在Gensim的官网中，它对自己的简介只有一句话：topic modelling for humans!
 Genius是用来处理语言方面的内容，如文本相似度计算、LDA、Word2Vec等，这些领域的任务往往需要比较多的背景知识。

下面是一个Gensim使用Word2Vec的简单例子

import gensim, logging
# logging是用来输出训练日志
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)
# 分好词的句子，每个句子以词列表的形式输入
sentences = [['first', 'sentence'], ['second', 'sentence']]
# 用以上句子训练词向量模型
model = gensim.models.Word2Vec(sentences, min_count=1)
print(model['sentence']) # 输出单词sentence的词向量

[ 3.3256777e-03 -3.3599234e-04  1.4851474e-04  4.8383819e-03
4.5049251e-03  4.7845901e-03 -1.3239369e-03 -1.8815239e-03
-3.6703956e-03  4.2816866e-03  3.6929923e-03  7.9753104e-04
-4.3348738e-04 -1.4672419e-03  1.4194930e-03 -6.3494581e-04
-8.3871878e-04 -4.6697357e-03 -2.7556117e-03 -8.4222778e-04
2.3534612e-03  2.8722258e-03  1.3527627e-03 -1.0353057e-03
1.1202707e-03 -4.3219463e-03 -4.7520906e-04 -3.7458976e-04
-7.1177131e-04  4.6983436e-03  2.7505222e-03 -3.3290898e-03
-3.4628378e-03 -3.4623581e-03  4.6309875e-03 -3.5190058e-03
3.9474354e-03 -2.0858629e-03  3.8249004e-03 -4.8357458e-03
2.3872401e-03  3.1114693e-03 -2.0685278e-04  1.2549465e-03
-1.4568379e-04  3.3461982e-03  4.3331002e-05 -3.0359076e-03
-3.8067563e-03 -3.8705941e-03  3.9506904e-03 -2.4668993e-03
-7.4716326e-04 -1.0118756e-04 -3.8489939e-03 -2.4964602e-03
-7.9871761e-04  3.8180151e-04 -1.8031960e-03 -3.0534246e-03
-3.1819264e-03  2.5668710e-03  1.2297786e-03 -4.1955332e-03
-4.3339548e-03  1.0493994e-03  2.8359778e-03 -3.9757169e-03
1.4591852e-03 -3.8472496e-03 -3.4582277e-03  1.3717393e-03
-2.4592755e-03 -4.7951629e-03  4.1540037e-03  1.1634901e-03
-1.8982046e-03 -1.4130659e-03 -2.2569399e-03 -3.0905546e-03
-5.2004633e-04 -3.1528575e-03 -3.1999631e-03  3.7971358e-03
-3.0510221e-04 -3.0863653e-03 -3.9570956e-03 -4.3477756e-03
3.9340914e-03 -3.8840056e-03 -6.6936354e-04 -1.8876110e-03
8.1132201e-04 -1.7235996e-03 -8.8019075e-04 -2.7104486e-03
4.6934914e-03  1.3472291e-04 -3.6058761e-03  2.7829179e-04]

总结

 本章只介绍与数据分析与数据挖掘相关的一小部分，这些扩展库里面包含的函数在后面会进行实例分析，通过在Python平台上完成实际案例来掌握数据分析和数据挖掘的原理。