交叉熵损失函数的使用目的(很肤浅的理解)

简介: 交叉熵损失函数的使用目的(很肤浅的理解)

第一种使用方法


import torch

from torch import nn  # Example of target with class indices

loss = nn.CrossEntropyLoss()

input = torch.randn(3, 5, requires_grad=True)

target = torch.empty(3, dtype=torch.long).random_(5)

output = loss(input, target)

output.backward()


第二种使用方法


# Example of target with class probabilities

input = torch.randn(3, 5, requires_grad=True)

target = torch.randn(3, 5).softmax(dim=1)

output = loss(input, target)

output.backward()


自己的理解:



传进去的是(3,5)维度的数据,其中3可以代表有3个图片(数据),5代表有5中类别(0,1,2,3,4这几类)。


[ 0.1087, -0.4276,  0.9313, -1.0140,  2.1229]表示预测的是

      ····第一个图是第一类的概率是 0.1087


      ·····第一个图是第一类的概率是 -0.4276(负数无所谓,举的例子是随机的嘛)

。。。


target的形状就是[3],代表有三个目标真实值。其中[3,4,2]代表对应上面那个input的


----第一行的第3个值


----第二行的第4个值


----第3行的第2个值


这三个值就是真实值,表示是这些真实值的概率


交叉熵目的:


       是预测值的概率更加接近真实值,让那些真实值对于的概率的类别更加大



就是让这些红色的值变大。具体是怎么变的可以查阅相关的资料

相关文章
|
6月前
|
机器学习/深度学习
为什么在二分类问题中使用交叉熵函数作为损失函数
为什么在二分类问题中使用交叉熵函数作为损失函数
195 2
|
1月前
|
机器学习/深度学习 自然语言处理
交叉熵损失
【10月更文挑战第2天】
|
6月前
|
机器学习/深度学习 JavaScript Python
熵、联合熵、相对熵、交叉熵、JS散度、互信息、条件熵
熵、联合熵、相对熵、交叉熵、JS散度、互信息、条件熵
95 1
|
机器学习/深度学习
信息熵、KL散度、交叉熵、softmax函数学习小记
信息熵、KL散度、交叉熵、softmax函数学习小记
97 0
“交叉熵”反向传播推导
“交叉熵”反向传播推导
133 0
|
机器学习/深度学习
损失函数:均方误和交叉熵,激活函数的作用
损失函数(loss function)或代价函数(cost function)是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。
187 1
损失函数:均方误和交叉熵,激活函数的作用
|
机器学习/深度学习 人工智能 JavaScript
【Pytorch神经网络理论篇】 21 信息熵与互信息:联合熵+条件熵+交叉熵+相对熵/KL散度/信息散度+JS散度
对抗神经网络(如DIM模型)及图神经网络(如DGI模型)中,使用互信息来作为无监督方式提取特征的方法。
903 0
|
机器学习/深度学习
|
机器学习/深度学习 数据可视化 PyTorch
使用度量学习进行特征嵌入:交叉熵和监督对比损失的效果对比
使用度量学习进行特征嵌入:交叉熵和监督对比损失的效果对比
294 0
使用度量学习进行特征嵌入:交叉熵和监督对比损失的效果对比
熵、交叉熵和KL散度的基本概念和交叉熵损失函数的通俗介绍
熵、交叉熵和KL散度的基本概念和交叉熵损失函数的通俗介绍
278 0
熵、交叉熵和KL散度的基本概念和交叉熵损失函数的通俗介绍