开发者社区> apachecn_飞龙> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

【番外】线性回归和逻辑回归的 MLE 视角

简介: 版权声明:License CC BY-NC-SA 4.0 https://blog.csdn.net/wizardforcel/article/details/83345186 线...
+关注继续查看
版权声明:License CC BY-NC-SA 4.0 https://blog.csdn.net/wizardforcel/article/details/83345186

线性回归

z=wTx+bz = w^T x + bz=wTx+b,得到:

y=z+ϵ, ϵ∼N(0,σ2)y = z + \epsilon, \, \epsilon \sim N(0, \sigma^2)y=z+ϵ,ϵN(0,σ2)

于是:

y∣x∼N(z,σ2)y|x \sim N(z, \sigma^2)yxN(z,σ2)

为啥是 y∣xy|xyx,因为判别模型的输出只能是 y∣xy|xyx

它的概率密度函数:

fY∣X(y)=12πσexp⁡(−(y−z)22σ2)=Aexp⁡(−B(y−z)2), A,B>0f_{Y|X}(y)=\frac{1}{\sqrt{2 \pi} \sigma} \exp(\frac{-(y -z)^2}{2\sigma^2}) \\ = A \exp(-B (y - z)^2), \, A, B > 0fYX(y)=2πσ1exp(2σ2(yz)2)=Aexp(B(yz)2),A,B>0

计算损失函数:

L=−∑ilog⁡fY∣X(y(i))=−∑i(log⁡A−B(y(i)−z(i))2)=B∑i(y(i)−z(i))2+CL = -\sum_i \log f_{Y|X}(y^{(i)}) \\ = -\sum_i(\log A - B(y^{(i)} - z^{(i)})^2) \\ = B \sum_i(y^{(i)} - z^{(i)})^2 + CL=ilogfYX(y(i))=i(logAB(y(i)z(i))2)=Bi(y(i)z(i))2+C

所以 min⁡L\min LminL 就相当于 min⁡(y(i)−z(i))2\min (y^{(i)} - z^{(i)})^2min(y(i)z(i))2。结果和最小二乘是一样的。

逻辑回归

z=wTx+b,a=σ(z)z = w^T x + b, a = \sigma(z)z=wTx+b,a=σ(z),我们观察到在假设中:

P(y=1∣x)=aP(y=0∣x)=1−aP(y=1|x) = a \\ P(y=0|x) = 1 - aP(y=1x)=aP(y=0x)=1a

也就是说:

y∣x∼B(1,a)y|x \sim B(1, a)yxB(1,a)

其实任何二分类器的输出都是伯努利分布。因为变量只能取两个值,加起来得一,所以只有一种分布。

它的概率质量函数(因为是离散分布,只有概率质量函数,不过无所谓):

pY∣X(y)=ay(1−a)1−yp_{Y|X}(y) = a^y(1-a)^{1-y}pYX(y)=ay(1a)1y

然后计算损失函数:

L=−∑ilog⁡pY∣X(y(i))=−∑i(y(i)log⁡a(i)+(1−y(i))log⁡(1−a(i)))L = -\sum_i \log p_{Y|X}(y^{(i)}) \\ = -\sum_i(y^{(i)} \log a^{(i)} + (1-y^{(i)})\log(1-a^{(i)}))L=ilogpYX(y(i))=i(y(i)loga(i)+(1y(i))log(1a(i)))

和交叉熵是一致的。

可以看出,在线性回归的场景下,MLE 等价于最小二乘,在逻辑回归的场景下,MLE 等价于交叉熵。但不一定 MLE 在所有模型中都是这样。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
【机器学习】线性回归——最小二乘法的概率解释高斯噪声(理论+图解+公式推导)
【机器学习】线性回归——最小二乘法的概率解释高斯噪声(理论+图解+公式推导)
0 0
【机器学习】回归的原理学习与葡萄酒数据集的最小二乘法算法线性回归实例
【机器学习】回归的原理学习与葡萄酒数据集的最小二乘法算法线性回归实例
0 0
【从零开始学习深度学习】12. 什么是模型的训练误差?基于三阶多项式的欠拟合与过拟合训练过程演示
【从零开始学习深度学习】12. 什么是模型的训练误差?基于三阶多项式的欠拟合与过拟合训练过程演示
0 0
回归模型参数估计-5| 学习笔记
快速学习回归模型参数估计-5。
0 0
回归模型的参数估计-2| 学习笔记
快速学习回归模型的参数估计-2。
0 0
【机器学习】回归的原理学习与葡萄酒数据集的最小二乘法线性回归实例
【机器学习】回归的原理学习与葡萄酒数据集的最小二乘法线性回归实例
0 0
+关注
apachecn_飞龙
Github:@wizardforcel 简书:@ApacheCN_飞龙 微博:@龙雀 CSDN:@wizardforcel ApacheCN 官网:apachecn.org 机器学习交流群:629470233
文章
问答
文章排行榜
最热
最新
相关电子书
更多
概率图模型
立即下载
纯干货|机器学习中梯度下降法的分类及对比分析
立即下载
纯干货 | 机器学习中梯度下降法的分类及对比分析
立即下载