损失函数中的证明如下:
记带标签的样例为(x, y), 其中x表示输入特征向量,y=[y1, y2, …, yc]表示真实标签的one-hot表示,y_=[y1, y2, …, yc]表示模型输出的分布,c表示样例输出的类别数。
(1)对于二分类问题,p(x)=[1, 0],q(x)=[y1, y2],y1=p(y=1|x)表示模型输出的真实概率,交叉熵H(p, q)=-(1y1+0y2)=-y1,显然此时交叉熵的最小化等价于似然函数的最大化;
(2)对于多分类问题, 假设p(x)=[0, 0, 0, …, 1, 0, 0],q(x)=[y1, y2, y3, …, yk, y(k+1), y(k+2)],即表示真实样例标签为第k类,yk=p(y=k|x)表示模型输出为第k类的概率,交叉熵H(p,q)=-(0y1+0y2+0y3+…+1yk+0y(k+1)+0y(k+2)) = -yk, 此时同上。
上述两种方法可以从二分类、多分类问题的方面来进行证明,我们可以根据其进行应用
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。