特点：主要用于解决回归问题，线性回归是许多强大非线性模型的基础(多项式回归，逻辑回归，SVM，神经网络...本质都是线性回归的拓展，寻找最优参数)，其结果具有很好的可解释性。
假设样本特征与样本输出标记之间存在线性关系，那么就可以寻找一条直线来最大程度拟合它们之间的关系。
① 简单线性回归：样本特征只有一个的回归拟合($ y = ax+ b$);
② 多元线性回归：多样本特征与样本输出标记之间的回归拟合。
1、简单线性回归简介
假设样本特征与样本输出标记之间存在线性关系，这个线性关系由最佳拟合的直线方程$ y = ax+ b$所表示，则对于每个样本点$x^{(i)}$，就有预测值$\hat y^{(i)} = ax^{(i)} +b $,其真值为$y^{(i)}$。样本点$\hat y^{(i)} $与$y^{(i)}$的差距可由$|\hat y^{(i)} - y^{(i)}|$所表示，但 绝对值函数$y=|x|$ 并非处处可导，对于寻找函数的极值点很不方便。从而使用任意点可导的二次函数$(\hat y^{(i)} - y^{(i)})^{2}$来度量真值与预测值的差异更好，考虑所有样本则有$\sum^{m}_{i} {(\hat y^{(i)} - y^{(i)})^{2}}$。在寻找最优拟合直线的时候，目标就是使得所有样本真值与预测值的差距$\sum^{m}_{i} {(\hat y^{(i)} - y^{(i)})^{2}} $尽可能小。
一类机器学习算法的基本思路:
找到参数值，使真值与预测值的差距尽可能
$$\sum^{m}_{i} {(\hat y^{(i)} - y^{(i)})^{2}} \rightarrow \sum^{m}_{i} {(y^{(i)}-ax^{(i)} - b)^{2}}$$
以上函数又称 损失函数(loss function)，描述的是模型没有拟合到样本的部分，也就是损失的部分。与之相对的是效用函数(utility function)，效用函数描述的是拟合上的程度。所有参数学习的套路：通过分析问题，确定问题的损失函数或效用函数；通过最优化损失函数(尽可能小)或者效用函数(尽可能大)，获得机器学习的模型。这个套路可在《最优化原理》《凸优化》中系统学习。
2、最优化损失函数
2.1 最小二乘(平方)法求简单线性回归的参数
对于二元二次形式的损失函数$ J(a,b) = \sum^{m}_{i} {(y^{(i)}-ax^{(i)} - b)^{2}}$，损失函数里变量分别是$a$和$b$，它们都对应一个开口向上的二次函数，使得损失函数最小也就意味着这个二元函数取其极小值，开口向上的二次函数的极小值在其导数为零的点取得。所以通过求偏导的形式可得$J(a,b)$取极小值对应的$a,b$:
$\frac {\partial J(a,b)}{\partial a} = 0,\frac {\partial J(a,b)}{\partial b} = 0$
可解得$a,b$分别为:
$$a = \frac{\sum^{m}_{i} {(x^{(i)} - \overline {x})(y^{(i)} - \overline y)}}{\sum^{m}_{i} {(x^{(i)} - \overline {x})^{2}}}, b = \overline y - a \overline x$$
2.2 最小二乘(平方)法求简单线性回归的python实现
class SimpleLinearRegression:
def __init__(self):
"""初始化 Simple Linear Regression 模型"""
self.a_= None
self.b_ = None
def fit(self,x_train,y_train):
"""根据训练集x_train,y_train训练 Simple Linear Regression 模型"""
assert x_train.ndim == 1, "Simple Linear Regressor can only solve single feature tarining data."
assert len(x_train) == len(y_train), "the size of x_train must be equal to the size of y_train"
x_mean = np.mean(x_train)
y_mean = np.mean(y_train)
num = (x_train - x_mean).dot(y_train - y_mean) ### 参数a的分子部分的向量化运算
d = (x_train - x_mean).dot(x_train - x_mean) ### 参数a的分母部分向的量化运算
self.a_ = num/d
self.b_ = y_mean - self.a_ * x_mean
return self
def predict(self,x_predict):
"""给定待预测数据集x_predict，返回表示x_predict的结果向量"""
assert x_predict.ndim == 1," Simple Linear Regressor can only solve single feature training data."
assert self.a_ is not None and self.b_ is not None, "must fit before predict!"
return np.array([self._predict(x) for x in x_predict])
def _predict(self,x_single):
"""给定单个x_single,返回x的预测结果值"""
return self.a_ * x_single + self.b_
def __repr__(self):
return "SimpleLinearRegression()"
### 方法调用
x = np.random.random(size = 1000)
y = 2.0 * x + 3.0 + np.random.normal(size = 1000)
reg = SimpleLinearRegression()
reg.fit(x,y)
reg.predict(x_predict)
reg.a_
reg.b_
