概率视角的Linear Regression

简介: 概率视角的Linear Regression

机器学习:概率视角的Linear Regression

前言

上一节我们说到了一元线性回归·与·多元线性回归,大家如果还不清楚,可以去考古。
之前,我们用最小二乘估计,推导出来:
image.png

在这一小节中,我采取概率的视角来解决线性回归问题。

推导过程

在这里插入图片描述
还是这一张图,我们可以发现,如果让拟合的直线与每个观测值x的距离都为0,也就是误差为0,但是这情况是不会出现的,因为数据本身就具有不确定性,带有一定的噪声。如果真有这种情况,这个模型也没有任何意义,只能解决特定问题。
image.png

结论归纳

求到最后,我们可以看出,这与之前讲过的最小二乘估计的Cost function是一致的,可以得出结论最小二乘估计隐含了噪声服从正态的假设,从概率角度的MLE(极大似然估计)与MSE(最小二乘估计)本质是一样的。

目录
相关文章
|
2天前
|
数据可视化 Python
Python进行多输出(多因变量)回归:集成学习梯度提升决策树GRADIENT BOOSTING,GBR回归训练和预测可视化
Python进行多输出(多因变量)回归:集成学习梯度提升决策树GRADIENT BOOSTING,GBR回归训练和预测可视化
Python进行多输出(多因变量)回归:集成学习梯度提升决策树GRADIENT BOOSTING,GBR回归训练和预测可视化
|
2天前
|
机器学习/深度学习 算法 数据可视化
样条曲线、决策树、Adaboost、梯度提升(GBM)算法进行回归、分类和动态可视化
样条曲线、决策树、Adaboost、梯度提升(GBM)算法进行回归、分类和动态可视化
|
2天前
|
资源调度 并行计算 算法
R语言马尔可夫区制转移模型Markov regime switching
R语言马尔可夫区制转移模型Markov regime switching
|
2天前
广义线性模型glm泊松回归的lasso、弹性网络分类预测学生考试成绩数据和交叉验证
广义线性模型glm泊松回归的lasso、弹性网络分类预测学生考试成绩数据和交叉验证
|
2天前
R语言stan泊松回归Poisson regression
R语言stan泊松回归Poisson regression
|
Python 机器学习/深度学习
Cross Entropy Loss 交叉熵损失函数公式推导
表达式 输出标签表示为{0,1}时,损失函数表达式为: $L = -[y log \hat{y} + (1-y)log(1- \hat{y})]$ 二分类 二分类问题,假设 y∈{0,1} 正例:$P(y = 1| x) = \hat{y}$ 反例:$P(y=0|x) = 1-\hat{y}$ 取似然函数 似然函数就是所有样本在参数θ下发生概率最大的那种情况,由于样本独立同分布,因此概率最大的情况就是每个样本发生概率的连乘。
15601 0
|
机器学习/深度学习 算法 Python
机器学习算法之——梯度提升(Gradient Boosting)上
由于每个子模型要使用全部的数据集进行训练,因此 Ada Boosting 算法中没有 oob 数据集,在使用 Ada Boosting 算法前,需要划分数据集:train_test_split;
机器学习算法之——梯度提升(Gradient Boosting)上
|
机器学习/深度学习 算法
机器学习算法之——梯度提升(Gradient Boosting)下
GDBT本身并不复杂,不过要吃透的话需要对集成学习的原理、策树原理和各种损失函树有一定的了解。由于GBDT的卓越性能,只要是研究机器学习都应该掌握这个算法,包括背后的原理和应用调参方法。目前GBDT的算法比较好的库是xgboost。当然scikit-learn也可以。
机器学习算法之——梯度提升(Gradient Boosting)下
|
机器学习/深度学习 算法
线性回归(Linear regression)算法
属于有监督学习、判别模型、有预测函数、有优化目标,有优化求解算法
257 0
|
算法 Python
利用python实现Ridge岭回归和Lasso回归
利用python实现Ridge岭回归和Lasso回归
281 0
利用python实现Ridge岭回归和Lasso回归