【机器学习】最小二乘法MSE

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
云原生网关 MSE Higress,422元/月
注册配置 MSE Nacos/ZooKeeper,118元/月
简介: 【1月更文挑战第24天】【机器学习】最小二乘法MSE

最小二乘法的优势在于它有封闭形式的解,可以通过对误差关于参数的偏导数为零的条件来求解最优参数。对于线性回归问题,最小二乘法的解析解是可以直接计算得到的。

最小二乘法(Least Squares Method)是一种常用于拟合数学模型和估计模型参数的方法,其中均方误差(Mean Squared Error,MSE)是一个重要的概念。

总体而言,最小二乘法是一种常用的参数估计方法,特别适用于线性模型。它在统计学、机器学习和工程领域中得到广泛应用。

image.png

根据对数,单调性,对上面公式求自然底数e的对数,效果不变~

image.png

接下来 log 函数继续为你带来惊喜,数学上连乘是个大麻烦,即使交给计算机去求解它也得哭出声来。惊喜是:

  • $log_a(XY) = log_aX + log_aY$
  • $log_a\frac{X}{Y} = log_aX - log_aY$
  • $log_aX^n = n*log_aX$
  • $log_a(X_1X_2……X_n) = log_aX_1 + log_aX_2 + …… + log_aX_n$
  • $log_xx^n = n(n\in R)$
  • $log_a\frac{1}{X} = -log_aX$
  • $log_a\sqrt[x]{N^y} = \frac{y}{x}log_aN$

$log_e(P_W) = loge(\prod\limits{i = 0}^{n}\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(y_i - W^Tx_i)^2}{2\sigma^2}})$

      $=\sum\limits_{i = 0}^{n}log_e(\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(y_i - W^Tx_i)^2}{2\sigma^2}})$累乘问题变成累加问题~

乘风破浪,继续推导--->

      $=\sum\limits_{i = 0}^{n}(log_e\frac{1}{\sqrt{2\pi}\sigma} - \frac{(y_i - W^Tx_i)^2}{2\sigma^2})$

      $=\sum\limits_{i = 0}^{n}(log_e\frac{1}{\sqrt{2\pi}\sigma} - \frac{1}{\sigma^2}\cdot\frac{1}{2}(y_i - W^Tx_i)^2)$

上面公式是最大似然求对数后的变形,其中$\pi、\sigma$都是常量,而$(y_i - W^Tx_i)^2$肯定大于!上面求最大值问题,即可转变为如下求最小值问题:

$L(W) = \frac{1}{2}\sum\limits_{i = 0}^n(y^{(i)} - W^Tx^{(i)})^2$ L代表Loss,表示损失函数,损失函数越小,那么上面最大似然就越大~

有的书本上公式,也可以这样写,用$J(\theta)$表示一个意思,$\theta$ 的角色就是W:

image.png

进一步提取:

image.png

其中:

  $\hat{y} = h_{\theta}(X) =X \theta$ 表示全部数据,是矩阵,X表示多个数据,进行矩阵乘法时,放在前面

  $\hat{y}i = h{\theta}(x^{(i)}) = \theta^Tx^{(i)}$ 表示第i个数据,是向量,所以进行乘法时,其中一方需要转置

因为最大似然公式中有个负号,所以最大总似然变成了最小化负号后面的部分。 到这里,我们就已经推导出来了 MSE 损失函数$J(\theta)$,从公式我们也可以看出来 MSE 名字的来 历,mean squared error,上式也叫做最小二乘法!

相关实践学习
基于MSE实现微服务的全链路灰度
通过本场景的实验操作,您将了解并实现在线业务的微服务全链路灰度能力。
相关文章
|
6月前
|
机器学习/深度学习 数据采集 数据挖掘
【机器学习】普通最小二乘法和ridge回归有什么区别?
【5月更文挑战第21天】【机器学习】R-squared系数有什么缺点?如何解决?【机器学习】普通最小二乘法和ridge回归有什么区别?
|
6月前
|
机器学习/深度学习 人工智能 算法
【机器学习】平均绝对误差 (MAE) 与均方误差 (MSE) 有什么区别?
【5月更文挑战第17天】【机器学习】平均绝对误差 (MAE) 与均方误差 (MSE) 有什么区别?
|
机器学习/深度学习
机器学习中的数学原理——最小二乘法
机器学习中的数学原理——最小二乘法
216 0
机器学习中的数学原理——最小二乘法
|
机器学习/深度学习 人工智能 资源调度
【机器学习】线性回归——最小二乘法的概率解释高斯噪声(理论+图解+公式推导)
【机器学习】线性回归——最小二乘法的概率解释高斯噪声(理论+图解+公式推导)
299 0
【机器学习】线性回归——最小二乘法的概率解释高斯噪声(理论+图解+公式推导)
|
机器学习/深度学习 人工智能
【机器学习】线性回归——最小二乘法的几何意义
【机器学习】线性回归——最小二乘法的几何意义
193 0
【机器学习】线性回归——最小二乘法的几何意义
|
机器学习/深度学习 人工智能 vr&ar
【机器学习】线性回归——最小二乘法(理论+图解+公式推导)
【机器学习】线性回归——最小二乘法(理论+图解+公式推导)
809 0
【机器学习】线性回归——最小二乘法(理论+图解+公式推导)
|
机器学习/深度学习 算法
机器学习十大经典算法之最小二乘法
机器学习十大经典算法之最小二乘法
机器学习十大经典算法之最小二乘法
|
机器学习/深度学习
【机器学习技巧】回归模型的几个常用评估指标(R2、Adjusted-R2、MSE、RMSE、MAE、MAPE)及其在sklearn中的调用方式
【机器学习技巧】回归模型的几个常用评估指标(R2、Adjusted-R2、MSE、RMSE、MAE、MAPE)及其在sklearn中的调用方式
【机器学习技巧】回归模型的几个常用评估指标(R2、Adjusted-R2、MSE、RMSE、MAE、MAPE)及其在sklearn中的调用方式
|
机器学习/深度学习 人工智能 Python
【人工智能】机器学习之用Python实现最小二乘法进行房价预测以及进行贷款额度预测
使用最小二乘法进行房价预测:首先明白什么是最小二乘法,利用最小二乘法公式
402 1
【人工智能】机器学习之用Python实现最小二乘法进行房价预测以及进行贷款额度预测