【番外】线性回归和逻辑回归的 MLE 视角-阿里云开发者社区

开发者社区> apachecn_飞龙> 正文

【番外】线性回归和逻辑回归的 MLE 视角

简介: 版权声明:License CC BY-NC-SA 4.0 https://blog.csdn.net/wizardforcel/article/details/83345186 线...
+关注继续查看
版权声明:License CC BY-NC-SA 4.0 https://blog.csdn.net/wizardforcel/article/details/83345186

线性回归

z=wTx+bz = w^T x + bz=wTx+b,得到:

y=z+ϵ, ϵ∼N(0,σ2)y = z + \epsilon, \, \epsilon \sim N(0, \sigma^2)y=z+ϵ,ϵN(0,σ2)

于是:

y∣x∼N(z,σ2)y|x \sim N(z, \sigma^2)yxN(z,σ2)

为啥是 y∣xy|xyx,因为判别模型的输出只能是 y∣xy|xyx

它的概率密度函数:

fY∣X(y)=12πσexp⁡(−(y−z)22σ2)=Aexp⁡(−B(y−z)2), A,B>0f_{Y|X}(y)=\frac{1}{\sqrt{2 \pi} \sigma} \exp(\frac{-(y -z)^2}{2\sigma^2}) \\ = A \exp(-B (y - z)^2), \, A, B > 0fYX(y)=2πσ1exp(2σ2(yz)2)=Aexp(B(yz)2),A,B>0

计算损失函数:

L=−∑ilog⁡fY∣X(y(i))=−∑i(log⁡A−B(y(i)−z(i))2)=B∑i(y(i)−z(i))2+CL = -\sum_i \log f_{Y|X}(y^{(i)}) \\ = -\sum_i(\log A - B(y^{(i)} - z^{(i)})^2) \\ = B \sum_i(y^{(i)} - z^{(i)})^2 + CL=ilogfYX(y(i))=i(logAB(y(i)z(i))2)=Bi(y(i)z(i))2+C

所以 min⁡L\min LminL 就相当于 min⁡(y(i)−z(i))2\min (y^{(i)} - z^{(i)})^2min(y(i)z(i))2。结果和最小二乘是一样的。

逻辑回归

z=wTx+b,a=σ(z)z = w^T x + b, a = \sigma(z)z=wTx+b,a=σ(z),我们观察到在假设中:

P(y=1∣x)=aP(y=0∣x)=1−aP(y=1|x) = a \\ P(y=0|x) = 1 - aP(y=1x)=aP(y=0x)=1a

也就是说:

y∣x∼B(1,a)y|x \sim B(1, a)yxB(1,a)

其实任何二分类器的输出都是伯努利分布。因为变量只能取两个值,加起来得一,所以只有一种分布。

它的概率质量函数(因为是离散分布,只有概率质量函数,不过无所谓):

pY∣X(y)=ay(1−a)1−yp_{Y|X}(y) = a^y(1-a)^{1-y}pYX(y)=ay(1a)1y

然后计算损失函数:

L=−∑ilog⁡pY∣X(y(i))=−∑i(y(i)log⁡a(i)+(1−y(i))log⁡(1−a(i)))L = -\sum_i \log p_{Y|X}(y^{(i)}) \\ = -\sum_i(y^{(i)} \log a^{(i)} + (1-y^{(i)})\log(1-a^{(i)}))L=ilogpYX(y(i))=i(y(i)loga(i)+(1y(i))log(1a(i)))

和交叉熵是一致的。

可以看出,在线性回归的场景下,MLE 等价于最小二乘,在逻辑回归的场景下,MLE 等价于交叉熵。但不一定 MLE 在所有模型中都是这样。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
10062 0
RocketMQ消费失败消息深入分析(consumer,broker的具体处理逻辑)
消息队列是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题
2087 0
机器学习算法概述:随机森林&逻辑回归
机器学习算法入门介绍:随机森林与逻辑回归!
3427 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
13875 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
11888 0
《操作系统真象还原》——0.9 物理地址、逻辑地址、有效地址、线性地址、虚拟地址的区别
物理地址就是物理内存真正的地址,相当于内存中每个存储单元的门牌号,具有唯一性。不管在什么模式下,不管什么虚拟地址、线性地址,CPU最终都要以物理地址去访问内存,只有物理地址才是内存访问的终点站。
1521 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
7361 0
+关注
apachecn_飞龙
Github:@wizardforcel 简书:@ApacheCN_飞龙 微博:@龙雀 CSDN:@wizardforcel ApacheCN 官网:apachecn.org 机器学习交流群:629470233
719
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载