交叉熵损失函数的使用目的(很肤浅的理解)

简介: 交叉熵损失函数的使用目的(很肤浅的理解)

第一种使用方法


import torch

from torch import nn  # Example of target with class indices

loss = nn.CrossEntropyLoss()

input = torch.randn(3, 5, requires_grad=True)

target = torch.empty(3, dtype=torch.long).random_(5)

output = loss(input, target)

output.backward()


第二种使用方法


# Example of target with class probabilities

input = torch.randn(3, 5, requires_grad=True)

target = torch.randn(3, 5).softmax(dim=1)

output = loss(input, target)

output.backward()


自己的理解:



传进去的是(3,5)维度的数据,其中3可以代表有3个图片(数据),5代表有5中类别(0,1,2,3,4这几类)。


[ 0.1087, -0.4276,  0.9313, -1.0140,  2.1229]表示预测的是

      ····第一个图是第一类的概率是 0.1087


      ·····第一个图是第一类的概率是 -0.4276(负数无所谓,举的例子是随机的嘛)

。。。


target的形状就是[3],代表有三个目标真实值。其中[3,4,2]代表对应上面那个input的


----第一行的第3个值


----第二行的第4个值


----第3行的第2个值


这三个值就是真实值,表示是这些真实值的概率


交叉熵目的:


       是预测值的概率更加接近真实值,让那些真实值对于的概率的类别更加大



就是让这些红色的值变大。具体是怎么变的可以查阅相关的资料

相关文章
|
3月前
|
机器学习/深度学习
为什么在二分类问题中使用交叉熵函数作为损失函数
为什么在二分类问题中使用交叉熵函数作为损失函数
98 2
|
3月前
|
机器学习/深度学习 JavaScript Python
熵、联合熵、相对熵、交叉熵、JS散度、互信息、条件熵
熵、联合熵、相对熵、交叉熵、JS散度、互信息、条件熵
30 1
|
3月前
|
计算机视觉
偏最小二乘回归(PLSR)和主成分回归(PCR)
偏最小二乘回归(PLSR)和主成分回归(PCR)
“交叉熵”反向传播推导
“交叉熵”反向传播推导
106 0
|
机器学习/深度学习 算法
Lesson 4.2 逻辑回归参数估计:极大似然估计、相对熵与交叉熵损失函数-1
Lesson 4.2 逻辑回归参数估计:极大似然估计、相对熵与交叉熵损失函数-1
|
机器学习/深度学习
Lesson 4.2 逻辑回归参数估计:极大似然估计、相对熵与交叉熵损失函数-2
Lesson 4.2 逻辑回归参数估计:极大似然估计、相对熵与交叉熵损失函数-2
|
机器学习/深度学习 人工智能 JavaScript
【Pytorch神经网络理论篇】 21 信息熵与互信息:联合熵+条件熵+交叉熵+相对熵/KL散度/信息散度+JS散度
对抗神经网络(如DIM模型)及图神经网络(如DGI模型)中,使用互信息来作为无监督方式提取特征的方法。
780 0
|
机器学习/深度学习 数据可视化 计算机视觉
图像分类_03分类器及损失:线性分类+ SVM损失+Softmax 分类+交叉熵损失
解释:w的每⼀⾏都是其中⼀个类的分类器。这些数字的⼏何解释是,当我们改变w的⼀行时,像素空间中相应的线将以不同的⽅向旋转。⽽其中的偏置是为了让我们避免所有的分类器都过原点。
135 0
|
机器学习/深度学习
损失函数:均方误和交叉熵,激活函数的作用
损失函数(loss function)或代价函数(cost function)是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。
170 1
损失函数:均方误和交叉熵,激活函数的作用
|
机器学习/深度学习

相关实验场景

更多