Cross Entropy Loss 交叉熵损失函数公式推导

简介: 表达式 输出标签表示为{0,1}时,损失函数表达式为: L=[ylogˆy+(1y)log(1ˆy)] 二分类 二分类问题,假设 y∈{0,1} 正例:P(y=1|x)=ˆy 反例:P(y=0|x)=1ˆy 取似然函数 似然函数就是所有样本在参数θ下发生概率最大的那种情况,由于样本独立同分布,因此概率最大的情况就是每个样本发生概率的连乘。

表达式

输出标签表示为{0,1}时,损失函数表达式为:

L=[ylogˆy+(1y)log(1ˆy)]

二分类

二分类问题,假设 y∈{0,1}

正例:P(y=1|x)=ˆy 公式1

反例:P(y=0|x)=1ˆy 公式2

联立

将上述两式连乘。

P(y|x)=ˆyy(1ˆy)(1y) ;其中y∈{0,1} 公式3

当y=1时,公式3和公式1一样。
当y=0时,公式3和公式2一样。

取对数

取对数,方便运算,也不会改变函数的单调性。
logp(y|x)=ylogˆy+(1y)log(1ˆy) 公式4

我们希望P(y|x)越大越好,即让负值logP(y|x)越小越好,得到损失函数为:
L=[ylogˆy+(1y)log(1ˆy)] 公式5

参考阅读

简单的交叉熵损失函数,你真的懂了吗?
确定不收藏?机器学习必备的分类损失函数速查手册

补充

上面说的都是一个样本的时候,多个样本的表达式是:

多个样本的概率即联合概率,等于每个的乘积。
p(y|x)=mip(y(i)|x(i))

logp(y|x)=milogp(y(i)|x(i))

由公式4和公式5得到
logp(y(i)|x(i))=L(y(i)|x(i))

logp(y(i)|x(i))=miL(y(i)|x(i))

加上1m对式子进行缩放,便于计算。

Cost (min) : J(w,b)=1mmiL(y(i)|x(i))

或者写作:
J=1mΣmi=1[y(i)logˆy(i)+(1y(i))log(1ˆy(i))]

目录
打赏
0
0
0
3
818
分享
相关文章
为什么在二分类问题中使用交叉熵函数作为损失函数
为什么在二分类问题中使用交叉熵函数作为损失函数
444 2
损失函数
【6月更文挑战第14天】损失函数。
106 2
信息熵、KL散度、交叉熵、softmax函数学习小记
信息熵、KL散度、交叉熵、softmax函数学习小记
158 0
Softmax 分类器
机器学习中的 Softmax 分类器是一种常用的多分类模型,它将逻辑回归(Logistic Regression)推广到多分类问题中。在 Softmax 分类器中,我们使用一个二维平面(或多维空间中的超平面)来将不同类别的数据分开。这个超平面由一个线性函数决定,该线性函数可以表示为:y = w1 * x1 + w2 * x2 +... + wn * xn 其中,y 是输出变量(通常为类别的概率向量),x1, x2,..., xn 是输入变量,w1, w2,..., wn 是需要学习的权重。 Softmax 分类器的主要优点是它可以处
268 3
Softmax回归(Softmax Regression)
Softmax回归(Softmax Regression),也称为多类别逻辑回归或多项式回归,是一种用于解决多类别分类问题的统计学习方法。它是逻辑回归在多类别情况下的扩展。
324 3
L1、L2范数理解--Ridge以及Lasso回归
L1、L2范数理解--Ridge以及Lasso回归
217 0
深度学习基础(一):sigmoid/softmax/cross Entropy
深度学习基础(一):sigmoid/softmax/cross Entropy
281 0
Lesson 4.2 逻辑回归参数估计:极大似然估计、相对熵与交叉熵损失函数-2
Lesson 4.2 逻辑回归参数估计:极大似然估计、相对熵与交叉熵损失函数-2
Lesson 4.2 逻辑回归参数估计:极大似然估计、相对熵与交叉熵损失函数-1
Lesson 4.2 逻辑回归参数估计:极大似然估计、相对熵与交叉熵损失函数-1

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等