Cross Entropy Loss 交叉熵损失函数公式推导

简介: 表达式 输出标签表示为{0,1}时,损失函数表达式为: $L = -[y log \hat{y} + (1-y)log(1- \hat{y})]$ 二分类 二分类问题,假设 y∈{0,1} 正例:$P(y = 1| x) = \hat{y}$ 反例:$P(y=0|x) = 1-\hat{y}$ 取似然函数 似然函数就是所有样本在参数θ下发生概率最大的那种情况,由于样本独立同分布,因此概率最大的情况就是每个样本发生概率的连乘。

表达式

输出标签表示为{0,1}时,损失函数表达式为:

$L = -[y log \hat{y} + (1-y)log(1- \hat{y})]$

二分类

二分类问题,假设 y∈{0,1}

正例:$P(y = 1| x) = \hat{y}$ 公式1

反例:$P(y=0|x) = 1-\hat{y}$ 公式2

联立

将上述两式连乘。

$P(y|x) = \hat{y}^{y} * (1-\hat{y})^{(1-y)}$ ;其中y∈{0,1} 公式3

当y=1时,公式3和公式1一样。
当y=0时,公式3和公式2一样。

取对数

取对数,方便运算,也不会改变函数的单调性。
$ logp(y|x) =ylog\hat{y} + (1-y)log(1-\hat{y})$ 公式4

我们希望$P(y|x)$越大越好,即让负值$-logP(y|x)$越小越好,得到损失函数为:
$L = -[y log \hat{y} + (1-y)log(1- \hat{y})]$ 公式5

参考阅读

简单的交叉熵损失函数,你真的懂了吗?
确定不收藏?机器学习必备的分类损失函数速查手册

补充

上面说的都是一个样本的时候,多个样本的表达式是:

多个样本的概率即联合概率,等于每个的乘积。
$p(y|x) = \prod _{i}^{m} p(y^{(i)}| x^{(i)})$

$log p(y|x) = \sum _{i}^{m} log p(y^{(i)}| x^{(i)})$

由公式4和公式5得到
$logp(y^{(i)}| x^{(i)}) = - L(y^{(i)}| x^{(i)})$

$ logp(y^{(i)}| x^{(i)})=-\sum _{i}^{m}L(y^{(i)}| x^{(i)}) $

加上$\frac{1}{m}$对式子进行缩放,便于计算。

Cost (min) : $J(w,b) =\frac{1}{m}\sum _{i}^{m} L(y^{(i)}| x^{(i)}) $

或者写作:
$J = - \frac{1}{m}\Sigma_{i=1}^{m}[y^{(i)} log \hat{y}^{(i)} + (1-y^{(i)})log(1- \hat{y}^{(i)})]$

扩展

交叉熵和KL散度有着密切联系。
https://blog.csdn.net/haolexiao/article/details/7014257

相关文章
|
6月前
|
机器学习/深度学习
信息熵、KL散度、交叉熵、softmax函数学习小记
信息熵、KL散度、交叉熵、softmax函数学习小记
46 0
|
7月前
|
机器学习/深度学习 算法 PyTorch
Softmax回归(Softmax Regression)
Softmax回归(Softmax Regression),也称为多类别逻辑回归或多项式回归,是一种用于解决多类别分类问题的统计学习方法。它是逻辑回归在多类别情况下的扩展。
108 3
|
7月前
|
机器学习/深度学习 PyTorch 算法框架/工具
深入理解二分类和多分类CrossEntropy Loss和Focal Loss
多分类交叉熵就是对二分类交叉熵的扩展,在计算公式中和二分类稍微有些许区别,但是还是比较容易理解
258 0
|
9月前
|
数据可视化
L1、L2范数理解--Ridge以及Lasso回归
L1、L2范数理解--Ridge以及Lasso回归
62 0
|
10月前
|
机器学习/深度学习
Lesson 4.2 逻辑回归参数估计:极大似然估计、相对熵与交叉熵损失函数-2
Lesson 4.2 逻辑回归参数估计:极大似然估计、相对熵与交叉熵损失函数-2
|
10月前
|
机器学习/深度学习 算法
Lesson 4.2 逻辑回归参数估计:极大似然估计、相对熵与交叉熵损失函数-1
Lesson 4.2 逻辑回归参数估计:极大似然估计、相对熵与交叉熵损失函数-1
|
11月前
|
机器学习/深度学习 数据挖掘
KL散度和交叉熵的对比介绍
KL散度(Kullback-Leibler Divergence)和交叉熵(Cross Entropy)是在机器学习中广泛使用的概念。这两者都用于比较两个概率分布之间的相似性,但在一些方面,它们也有所不同。本文将对KL散度和交叉熵的详细解释和比较。
254 0
|
PyTorch 算法框架/工具
【pytorch】交叉熵损失函数 F.cross_entropy()
【pytorch】交叉熵损失函数 F.cross_entropy()
229 0
决策树中的香农熵(Shannon Entropy)
决策树中的香农熵(Shannon Entropy)
决策树中的香农熵(Shannon Entropy)
|
算法 数据挖掘
不用再往下划,信息熵(Entropy)概念及应用(附视频)都在这里啦!
不用再往下划,信息熵(Entropy)概念及应用(附视频)都在这里啦!
298 0
不用再往下划,信息熵(Entropy)概念及应用(附视频)都在这里啦!

相关产品