开发者社区> 问答> 正文

在损失函数中,如何证明交叉熵的本质就是似然函数的最大化?

已解决

在损失函数中,如何证明交叉熵的本质就是似然函数的最大化?

展开
收起
gxx1 2022-04-01 17:58:40 554 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    损失函数中的证明如下:

    记带标签的样例为(x, y), 其中x表示输入特征向量,y=[y1, y2, …, yc]表示真实标签的one-hot表示,y_=[y1, y2, …, yc]表示模型输出的分布,c表示样例输出的类别数。

    (1)对于二分类问题,p(x)=[1, 0],q(x)=[y1, y2],y1=p(y=1|x)表示模型输出的真实概率,交叉熵H(p, q)=-(1y1+0y2)=-y1,显然此时交叉熵的最小化等价于似然函数的最大化;

    (2)对于多分类问题, 假设p(x)=[0, 0, 0, …, 1, 0, 0],q(x)=[y1, y2, y3, …, yk, y(k+1), y(k+2)],即表示真实样例标签为第k类,yk=p(y=k|x)表示模型输出为第k类的概率,交叉熵H(p,q)=-(0y1+0y2+0y3+…+1yk+0y(k+1)+0y(k+2)) = -yk, 此时同上。

    上述两种方法可以从二分类、多分类问题的方面来进行证明,我们可以根据其进行应用

    2022-04-01 17:59:19
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
概率图模型 立即下载
纯干货|机器学习中梯度下降法的分类及对比分析 立即下载
纯干货 | 机器学习中梯度下降法的分类及对比分析 立即下载