概率视角的Linear Regression

简介: 概率视角的Linear Regression

机器学习:概率视角的Linear Regression

前言

上一节我们说到了一元线性回归·与·多元线性回归,大家如果还不清楚,可以去考古。
之前,我们用最小二乘估计,推导出来:
image.png

在这一小节中,我采取概率的视角来解决线性回归问题。

推导过程

在这里插入图片描述
还是这一张图,我们可以发现,如果让拟合的直线与每个观测值x的距离都为0,也就是误差为0,但是这情况是不会出现的,因为数据本身就具有不确定性,带有一定的噪声。如果真有这种情况,这个模型也没有任何意义,只能解决特定问题。
image.png

结论归纳

求到最后,我们可以看出,这与之前讲过的最小二乘估计的Cost function是一致的,可以得出结论最小二乘估计隐含了噪声服从正态的假设,从概率角度的MLE(极大似然估计)与MSE(最小二乘估计)本质是一样的。

目录
相关文章
|
3月前
R语言stan泊松回归Poisson regression
R语言stan泊松回归Poisson regression
|
3月前
|
数据可视化 Python
Python进行多输出(多因变量)回归:集成学习梯度提升决策树GRADIENT BOOSTING,GBR回归训练和预测可视化
Python进行多输出(多因变量)回归:集成学习梯度提升决策树GRADIENT BOOSTING,GBR回归训练和预测可视化
Python进行多输出(多因变量)回归:集成学习梯度提升决策树GRADIENT BOOSTING,GBR回归训练和预测可视化
|
3月前
|
机器学习/深度学习 数据可视化 决策智能
Python中使用Gradient Boosting Decision Trees (GBDT)进行特征重要性分析
Python中使用Gradient Boosting Decision Trees (GBDT)进行特征重要性分析
114 0
|
3月前
|
机器学习/深度学习 数据可视化 数据挖掘
R语言用逻辑回归预测BRFSS中风数据、方差分析anova、ROC曲线AUC、可视化探索
R语言用逻辑回归预测BRFSS中风数据、方差分析anova、ROC曲线AUC、可视化探索
|
3月前
|
机器学习/深度学习 算法 数据可视化
样条曲线、决策树、Adaboost、梯度提升(GBM)算法进行回归、分类和动态可视化
样条曲线、决策树、Adaboost、梯度提升(GBM)算法进行回归、分类和动态可视化
|
3月前
样条曲线分段线性回归模型piecewise regression估计个股beta值分析收益率数据
样条曲线分段线性回归模型piecewise regression估计个股beta值分析收益率数据
|
3月前
|
数据可视化
R语言中的多项式回归、B样条曲线(B-spline Curves)回归
R语言中的多项式回归、B样条曲线(B-spline Curves)回归
|
3月前
|
机器学习/深度学习 算法 数据可视化
R语言用标准最小二乘OLS,广义相加模型GAM ,样条函数进行逻辑回归LOGISTIC分类
R语言用标准最小二乘OLS,广义相加模型GAM ,样条函数进行逻辑回归LOGISTIC分类
|
机器学习/深度学习
瞎聊机器学习——PR曲线、ROC曲线、AUC
瞎聊机器学习——PR曲线、ROC曲线、AUC
|
机器学习/深度学习 算法
线性回归(Linear regression)算法
属于有监督学习、判别模型、有预测函数、有优化目标,有优化求解算法
283 0