Scikit-learn 简称 sklearn 是基于 Python 语言实现的机器学习算法库，它包含了常用的机器学习算法，比如回归、分类、聚类、支持向量机、随机森林等等。同时，它使用 NumPy 库进行高效的科学计算，比如线性代数、矩阵等等。

Scikit-learn 是 GitHub 上最受欢迎的机器学习库之一，其最新版本是 2020 年12 月发布的 scikit-learn 0.24.1。

提示：Scikit-learn 官方网站：scikit-learn: machine learning in Python — scikit-learn 1.3.0 documentation

Scikit-learn 涵盖了常用的机器学习算法，而且还在不断的添加完善，对于本教程所涉及的机器学习算法它都做了良好的 API 封装，以供直接调用。你可以根据不同的模型进行针对性的选择。下面介绍 sklearn 中常用的算法库：

• ·linear_model：线性模型算法族库，包含了线性回归算法，以及 Logistic 回归算法，它们都是基于线性模型。
• .naiv_bayes：朴素贝叶斯模型算法库。
• .tree：决策树模型算法库。
• .svm：支持向量机模型算法库。
• .neural_network：神经网络模型算法库。
• .neightbors：最近邻算法模型库。

实现线性回归算法

下面我们是基于 sklearn 实现线性回归算法，大概可以分为三步，首先从 sklearn 库中导入线性模型中的线性回归算法，如下所示：

from sklearn import linear_model

其次训练线性回归模型。使用  fit() 喂入训练数据，如下所示：

model = linear_model.LinearRegression()  线性回归
model.fit(x, y)

最后一步就是对训练好的模型进行预测。调用 predict() 预测输出结果， “x_”为输入测试数据，如下所示：

model.predict(x_)

你可能会感觉 so easy，其实没错，使用 sklearn 算法库实现线性回归就是这么简单，不过上述代码只是一个基本的框架，要想真正的把这台“机器”跑起来，我们就得给它喂入数据，因此准备数据集是必不可少的环节。数据集的整理也是一门专业的知识，会涉及到数据的收集、清洗，也就是预处理的过程，比如均值移除、归一化等操作，如果熟悉 Pandas 的话应该了解， 因此这里不做重点讲解。

1) 准备数据

下面我们手动生成一个数据集，如下所示：

1. 使用numpy准备数据集
   
2. import numpy as np
3. 准备自变量x,-3到3的区间均分间隔30份数
   
4. x = np.linspace(3,6.40)
5. #准备因变量y，这一个关于x的假设函数
6. y = 3 * x + 2

2) 实现算法

#使用matplotlib绘制图像，使用numpy准备数据集

import matplotlib.pyplot as plt
import numpy as np
from sklearn import linear_model

#准备自变量x，生成数据集，3到6的区间均分间隔30份数

x = np.linspace(3,6.40)

#准备因变量y，这一个关于x的假设函数

y = 3 * x + 2

#由于fit 需要传入二维矩阵数据，因此需要处理x，y的数据格式,将每个样本信息单独作为矩阵的一行

x=[[i] for i in x]

y=[[i] for i in y]

构建线性回归模型

model=linear_model.LinearRegression()

训练模型，"喂入"数据

model.fit(x,y)

准备测试数据 x_，这里准备了三组，如下：

x_=[[4],[5],[6]]

打印预测结果

y_=model.predict(x_)

print(y_)

#查看w和b的

print("w值为:",model.coef_)

print("b截距值为:",model.intercept_)

#数据集绘制,散点图，图像满足函假设函数图像

plt.scatter(x,y)

plt.show()

通过线性回归得到的线性函数图像，如下所示：

图1：线性回归函数图像

打印输出结果如下所示：

测试集输出结果：
[[14.]
[17.]
[20.]]
w值为: [[3.]]
b截距值为: [2.]

通过上述代码我们就实现“线性回归”的过程，但是在实际情况中，我们要面临的数据集要复杂的多，绝大多数情况不会这样理想，都会存在一些波动。在生成数据集的代码段内添加以下代码，如下所示：

#准备自变量x，生成数据集，3到6的区间均分间隔30份数
x = np.linspace(3,6.40)
#准备因变量y，这一个关于x的假设函数
y = 3 * x + 2
# 添加代码，扰乱点的分布
x = x + np.random.rand(40)

利用 NumPy 的 random. rand() 随机生成 0 - 1 之前的波动数值，从而改变数据点的分布情况，如下所示：

图2：修改后的散点分布

虽然做标签散乱分布，但是使用线性回归算法学习依然可以得到线性函数，此时 w 与 b 的输出结果如下所示：

w值为: [[2.68673744]]
b截距值为: [0.80154335]

绘制最佳拟合直线，程序代码如下：

#使用matplotlib绘制图像，使用numpy准备数据集
import matplotlib.pyplot as plt
import numpy as np
from sklearn import linear_model
#准备自变量x，生成数据集，-3到3的区间均分间隔30份数
x = np.linspace(3,6,40)
#准备因变量y，这一个关于x的假设函数
y=3 * x + 2
x = x + np.random.rand(40)
#准备因变量y，这一个关于x的假设函数
#由于fit 需要传入二维矩阵数据，因此需要处理x，y数据格式,将每个样本信息单独作为矩阵的一行
x=[[i] for i in x]
y=[[i] for i in y]
model=linear_model.LinearRegression()
model.fit(x,y)
#准备测试数据 x_，这里准备了三组，如下：
x_=[[4],[5],[6]]
打印预测结果
y_=model.predict(x_)
print(y_)
#查看w和b的
print("w值为:",model.coef_)
print("b截距值为:",model.intercept_)
#数据集绘制,散点图，图像满足函假设函数图像
plt.scatter(x,y)
#绘制最佳拟合直线
plt.plot(x_,y_,color="red",linewidth=3.0,linestyle="-")
plt.legend(["func","Data"],loc=0)
plt.show()

函数图像如下所示：

图3：拟合直线绘制

线性回归步骤

通过上述代码了解了如何使用 Python  sklearn 实现线性回归，下面从总整体出发再次审视该算法：掌握线性回归算法的具体步骤。

线性回归适用于有监督学习的回归问题，首先在构建线性模型前，需要准备好待输入的数据集，数据集按照需要可划分为训练集和测试集，使用训练集中的向量 X 与向量 Y 进行模型的训练，其中向量 Y 表示对应 X 的结果数值(也就是“参考答案”)；而输出时需要使用测试集，输入测试 X 向量输出预测结果向量 Y。

其实线性回归主要解决了以下三个问题：

• 第一，为假设函数设定了参数 w，通过假设函数画出线性“拟合”直线。
  
• 第二，将预测值带入损失函数，计算出一个损失值。
  
• 第三，通过得到的损失值，利用梯度下降等优化方法，不断调整 w 参数，使得损失值取得最小值。我们把这个优化参数值的过程叫做“线性回归”的学习过程。

线性回归算法简单，且容易理解，但这并不影响它的广泛应用，比如经济金融领域实现股票的预测，以及著名的波士顿房价预测，这些都是线性回归的典型应有，因此我们要走出一个误区，不要感觉算法简单就不重要，机器学习虽然算法众多，但每一种算法都有其存在的理由，而掌握了线性回归就相当于拿到了算法世界的入场券。

sklearn实现朴素贝叶斯

在 sklearn 库中，基于贝叶斯定理的算法集中在 sklearn.naive_bayes 包中，根据对“似然度 P(xi|y)”计算方法的不同，我们将朴素贝叶斯大致分为三种：

多项式朴素贝叶斯（MultinomialNB）

伯努利分布朴素贝叶斯（BernoulliNB)

高斯分布朴素贝叶斯（GaussianNB）

另外一点要牢记，朴素贝叶斯算法的实现是基于假设而来，在朴素贝叶斯看来，特征之间是相互独立的，互不影响的。

高斯朴素贝叶斯适用于特征呈正态分布的，多项式贝叶斯适用于特征是多项式分布的，伯努利贝叶斯适用于二项分布。

1) 算法使用流程

使用朴素贝叶斯算法，具体分为三步：

• 统计样本数，即统计先验概率 P(y) 和 似然度 P(x|y) 。
• 根据待测样本所包含的特征，对不同类分别进行后验概率计算。
• 比较 y1，y2，...yn 的后验概率，哪个的概率值最大就将其作为预测输出。

2) 朴素贝叶斯算法应用

下面通过鸢尾花数据集对朴素贝叶斯分类算法进行简单讲解。如下所示：

#鸢尾花数据集
from sklearn.datasets import load_iris
#导入朴素贝叶斯模型，这里选用高斯分类器
from sklearn.naive_bayes import GaussianNB
#载入数据集
X,y=load_iris(return_X_y=True)
bayes_modle**=GaussianNB()**
#训练数据
bayes_modle.fit(X,y)
#使用模型进行分类预测
result=bayes_modle.predict(X)
print(result)
#对模型评分
model_score=bayes_modle.score(X,y)
print(model_score)

输出结果：

预测分类：
[0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 2 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 1 1 1
1 1 1 2 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 1 2 2 2 2
2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2
2 2]
模型评分：
0.96

鸢尾花数据集即iris

iris数据集文件： pan.baidu.com/s/1saL_4Q9P… .提取码：1234

数据集简介

数据集包含150个样本（数据集的行）

数据集包含4个属性（数据集的列）：Sepal Length，Sepal Width，Petal Length，Petal Width：‘feature_names’

利用numpy.ndarray存储这150x4的数据：‘data’

分类标签取自array[‘Setosa’，‘Versicolour’，‘Virginica’]：‘target_names’

Setosa，Versicolour，Virginica是数据集所包含的3中品种的鸢尾花

这3个分类标签（即150x1数据）用np.ndarray存储：‘target’

总之，这个数据存储了150x4的特征数据和150x1的分类标签，其中特征数据又放在‘data’里，分类标签放在‘target’里