交叉熵损失函数的使用目的(很肤浅的理解)

简介: 交叉熵损失函数的使用目的(很肤浅的理解)

第一种使用方法


import torch

from torch import nn  # Example of target with class indices

loss = nn.CrossEntropyLoss()

input = torch.randn(3, 5, requires_grad=True)

target = torch.empty(3, dtype=torch.long).random_(5)

output = loss(input, target)

output.backward()


第二种使用方法


# Example of target with class probabilities

input = torch.randn(3, 5, requires_grad=True)

target = torch.randn(3, 5).softmax(dim=1)

output = loss(input, target)

output.backward()


自己的理解:



传进去的是(3,5)维度的数据,其中3可以代表有3个图片(数据),5代表有5中类别(0,1,2,3,4这几类)。


[ 0.1087, -0.4276,  0.9313, -1.0140,  2.1229]表示预测的是

      ····第一个图是第一类的概率是 0.1087


      ·····第一个图是第一类的概率是 -0.4276(负数无所谓,举的例子是随机的嘛)

。。。


target的形状就是[3],代表有三个目标真实值。其中[3,4,2]代表对应上面那个input的


----第一行的第3个值


----第二行的第4个值


----第3行的第2个值


这三个值就是真实值,表示是这些真实值的概率


交叉熵目的:


       是预测值的概率更加接近真实值,让那些真实值对于的概率的类别更加大



就是让这些红色的值变大。具体是怎么变的可以查阅相关的资料

相关文章
|
机器学习/深度学习
为什么在二分类问题中使用交叉熵函数作为损失函数
为什么在二分类问题中使用交叉熵函数作为损失函数
643 2
|
机器学习/深度学习 数据采集 搜索推荐
Paper Digest | 突破个性化推荐数据稀疏性:长尾增强的图对比学习算法研究
本文提出了一种新的长尾增强的图对比学习方法(LAGCL),该方法促使模型同时兼顾头部节点与尾部节点之间的知识,并通过长尾增强技术来使模型产出更均匀更准确的节点表征,从而改进基于 GNN 的推荐任务。
|
机器学习/深度学习 监控 数据可视化
【31】yolov5的使用 | 训练Pascal voc格式的数据集
【31】yolov5的使用 | 训练Pascal voc格式的数据集
1384 0
【31】yolov5的使用 | 训练Pascal voc格式的数据集
|
Python 机器学习/深度学习
Cross Entropy Loss 交叉熵损失函数公式推导
表达式 输出标签表示为{0,1}时,损失函数表达式为: $L = -[y log \hat{y} + (1-y)log(1- \hat{y})]$ 二分类 二分类问题,假设 y∈{0,1} 正例:$P(y = 1| x) = \hat{y}$ 反例:$P(y=0|x) = 1-\hat{y}$ 取似然函数 似然函数就是所有样本在参数θ下发生概率最大的那种情况,由于样本独立同分布,因此概率最大的情况就是每个样本发生概率的连乘。
16279 0
|
4月前
|
机器学习/深度学习 编解码 缓存
通义万相首尾帧图模型一键生成特效视频!
本文介绍了阿里通义发布的Wan2.1系列模型及其首尾帧生视频功能。该模型采用先进的DiT架构,通过高效的VAE模型降低运算成本,同时利用Full Attention机制确保生成视频的时间与空间一致性。模型训练分为三个阶段,逐步优化首尾帧生成能力及细节复刻效果。此外,文章展示了具体案例,并详细说明了训练和推理优化方法。目前,该模型已开源。
624 8
|
机器学习/深度学习 自然语言处理
交叉熵损失
【10月更文挑战第2天】
|
机器学习/深度学习 并行计算 数据可视化
Batch Size 对神经网络训练的影响
Batch Size 对神经网络训练的影响
265 0
|
存储 Ubuntu Linux
linux系统中rootfs根文件系统制作及挂载基本操作
linux系统中rootfs根文件系统制作及挂载基本操作
2901 1
|
机器学习/深度学习 存储 数据采集
人工智能数据结构和算法
人工智能数据结构和算法
602 3