Python-简单的线性回归模型

在Python中使用线性回归算法

Scikit-Learn 涵盖了主流的机器学习算法，我们先介绍常用的几个库：

• lienar_model:线性模型算法库，包括Logistic回归算法等；
  
• neighbors:最邻近算法库；
  
• naive-bayes:朴素贝叶斯算法库；
  
• tree:决策树算法；
  
• svm:支持向量机算法；
  
• neural_network:神经网络算法。

如下，简单解释线性回归算法。其数学表达式如下：
$$\boldsymbol{\hat y} = \boldsymbol{W} \boldsymbol{x}$$

# 导入所需库
import numpy as np
from matplotlib import pyplot as plt

# 模拟数据集
x= np.linspace(-10, 10, 20)
segma= np.random.randn(20)
y= 3* x+ segma

# 数据图
plt.scatter(x, y)
plt.show()

同时，此处对线性回归算法进行简单的解释。

# 从Scikit-Learn库导入线性回归算法
from sklearn import linear_model
# x训练线性回归模型
model= linear_model.LinearRegression()
model.fit(X, y)
# 进行预测
model.predit(x_)

如果此时直接将我们上面的得到的x,y传入模型，代码会提示数据维度错误，这是因为Scikit-Learn中线性回归算法中的fit()方法需要传入x和y两组矩阵，即:
$$x: [[样本1],...,[样本n]]$$
$$y: [[样本1],...,[样本n]]$$
下面，我们可以利用的Python的List将序列变成矩阵。

X= [[i] for i in x]
y= [[i] for i in y]
from sklearn import linear_model
model= linear_model.LinearRegression()
model.fit(X, y)

LinearRegression(copy_X=True, fit_intercept=True, n_jobs=None, normalize=False)

这样，我们就得到了算法所需的正确数据格式。但是，为了检验训练的结果，我们还需要一组测试用的x_。

x_= [[1], [2]]
y_= model.predict(x_)
y_

array([[2.8780171 ],
       [5.90230701]])

我们可以通过display函数通过model.intercept和model.coef查看截距和$\boldsymbol{W}$.

display(model.intercept_)  #截距
display(model.coef_)  #线性模型的系数

array([-0.1462728])



array([[3.02428991]])

我们还可以可视化模型的拟合效果。

y__= model.predict(X)
plt.scatter(x, y__)
plt.plot(X, y__, 'g-')
plt.show()

以上便是一次完整的简单的线性回归过程。

下面，我们讨论线性回归算法的优缺点：