概率视角的Linear Regression

简介: 概率视角的Linear Regression

机器学习:概率视角的Linear Regression

前言

上一节我们说到了一元线性回归·与·多元线性回归,大家如果还不清楚,可以去考古。
之前,我们用最小二乘估计,推导出来:
image.png

在这一小节中,我采取概率的视角来解决线性回归问题。

推导过程

在这里插入图片描述
还是这一张图,我们可以发现,如果让拟合的直线与每个观测值x的距离都为0,也就是误差为0,但是这情况是不会出现的,因为数据本身就具有不确定性,带有一定的噪声。如果真有这种情况,这个模型也没有任何意义,只能解决特定问题。
image.png

结论归纳

求到最后,我们可以看出,这与之前讲过的最小二乘估计的Cost function是一致的,可以得出结论最小二乘估计隐含了噪声服从正态的假设,从概率角度的MLE(极大似然估计)与MSE(最小二乘估计)本质是一样的。

目录
相关文章
|
7月前
R语言stan泊松回归Poisson regression
R语言stan泊松回归Poisson regression
|
7月前
样条曲线分段线性回归模型piecewise regression估计个股beta值分析收益率数据
样条曲线分段线性回归模型piecewise regression估计个股beta值分析收益率数据
|
7月前
广义线性模型glm泊松回归的lasso、弹性网络分类预测学生考试成绩数据和交叉验证
广义线性模型glm泊松回归的lasso、弹性网络分类预测学生考试成绩数据和交叉验证
|
7月前
|
数据挖掘
R语言中的block Gibbs吉布斯采样贝叶斯多元线性回归
R语言中的block Gibbs吉布斯采样贝叶斯多元线性回归
|
机器学习/深度学习 算法
线性回归(Linear regression)算法
属于有监督学习、判别模型、有预测函数、有优化目标,有优化求解算法
299 0
|
数据可视化
L1、L2范数理解--Ridge以及Lasso回归
L1、L2范数理解--Ridge以及Lasso回归
172 0
|
机器学习/深度学习 传感器 算法
【 NARX NN回归预测】基于NARX NN实现数据自回归多变量预测附matlab代码
【 NARX NN回归预测】基于NARX NN实现数据自回归多变量预测附matlab代码
|
机器学习/深度学习 数据可视化 Python
Lasso 和 Ridge回归中的超参数调整技巧(上)
Lasso 和 Ridge回归中的超参数调整技巧
879 0
Lasso 和 Ridge回归中的超参数调整技巧(上)
|
Python
Lasso 和 Ridge回归中的超参数调整技巧(下)
Lasso 和 Ridge回归中的超参数调整技巧
391 0
Lasso 和 Ridge回归中的超参数调整技巧(下)
|
机器学习/深度学习 算法 数据可视化
ML:基于自定义数据集利用Logistic、梯度下降算法GD、LoR逻辑回归、Perceptron感知器、SVM支持向量机、LDA线性判别分析算法进行二分类预测(决策边界可视化)
ML:基于自定义数据集利用Logistic、梯度下降算法GD、LoR逻辑回归、Perceptron感知器、SVM支持向量机、LDA线性判别分析算法进行二分类预测(决策边界可视化)
ML:基于自定义数据集利用Logistic、梯度下降算法GD、LoR逻辑回归、Perceptron感知器、SVM支持向量机、LDA线性判别分析算法进行二分类预测(决策边界可视化)