1 模板
与定义一个模型类似，定义一个继承nn.Module的类：
__init__：初始化超参数forward：定义损失的计算方式，并进行前向传播backward：反向传播(暂未遇到需要修改的情况)
import torch.nn as nn import torch class MyLoss(nn.Module): def __init__(self): # 超参数初始化，如 slef.param1 = 0 def forward(self, predict, label): # 一般是预测值和label # 进行损失计算，即前向传播，如 return torch.mean(torch.pow((predict - label), 2)) # 可以自己定义一些计算，但是所有的数学操作必须使用tensor提供的math。也可以用functional提供的一些损失计算，如交叉熵损失。
下面介绍一些损失函数：
2 损失函数
损失函数分为两类：
- 1. 分类损失，如0-1 loss、熵与交叉熵loss、softmax loss及其变种、KL散度、Hinge loss、Exponential loss、Logistic loss、Focal Loss。
- 2. 回归损失，如L1 loss、L2 loss、perceptual loss、生成对抗网络损失、GAN的基本损失、-log D trick、Wasserstein GAN、LS-GAN、Loss-sensitive-GAN。
2.1 交叉熵损失
2.1.1 原理
交叉熵主要是用来判定实际的输出与期望的输出的接近程度：
其中p为期望输出，q为实际输出。
假设期望输出为p=[1, 1, 0]，实际输出q1=[0.4, 0.3, 0.3]，q2=[0.6, 0.3, 0.1]：
可以看到q2和p的交叉熵更小，代笔着q2和p更加接近。
2.1.2 公式推导
假设有N条数据，out为网络输出，p为期望输出。
对于二分类问题：
首先我们先使用sigmod函数处理网络输出，限制其范围为0-1，结果为q，代表着实际输出：
对于一个样本i来说，在期望输出为pi的情况下，其正负样本的概率为：
假设所有样本相互独立，对应的似然函数为：
对似然函数取对数和相反数即为损失函数
2.1.3 扩展
交叉熵损失也可以应用到多分类问题，只是此时我们的网络输出out是一个one-hot变量，此时我们需要将out通过softmax函数，而不是sigmod。
假设网络输出N个样本，每个样本C个类别。一个样本的输出out(维度是1xC)，其第i个数
经过softmax计算如下：
该样本中其余数也经过这样计算。该样本的编码这样处理后所有值相加为0，然后取其中最大的一个作为
。后面就与二分类问题一致了。
2.4 nn.CrossEntropyLoss
from torch.nn impiort CrossEntropyLoss # 导入 loss = CrossEntropyLoss() # 定义，后面去使用即可
还有一种办法是使用functional中的cross_entropy函数。
2.2 Focal Loss
Focal Loss以交叉熵损失为基础，引入主要是为了解决目标检测中正负样本数量极不平衡问题。
交叉熵函数如下：
两个式子合并到一起为：
由该函数得到的交叉熵损失函数无法解决正负样本的平衡问题。因此经过三个阶段形成了Focal Loss：
- 平衡交叉熵
- 聚焦损失
2.2.1 平衡交叉熵
一个普遍的解决正负样本的问题的办法是增加权重参数：
，公式为：
样本t中，当为正样本y=1，负样本y=0。
结合了参数
的交叉熵函数为：
2.2.2 聚焦损失
参数
平衡了正负样本不均衡的问题。但是后面又发现难分样本的问题，为此，对于简单的样本增加一个小的权重，让损失函数聚焦在困难样本的训练。
设置这样一个调节因子：
，其中
。
结合该调节因子后，交叉熵函数如下：
当p为1，即为易区分样本时，
接近0，即降低对易区分样本的损失比例。
2.2.3 Focal Loss
假设N个样本，最终的Focal Loss由上面CE(p. y)得到：
论文中提示
时效果最好。
公式推导与2.1.2小结中一致
2.2.4 Code
def focal_loss(y, p, alpha=0.25, gamma=2): p = K.clip(y_pred, 1e-8, 1 - 1e-8) return - alpha * y * K.log(p) * (1 - p)**gamma - (1 - alpha) * (1 - y) * K.log(1 - p) * p**gamma
这里只是一个实现思路，配合着公式看，网络上也有通过pyotrch实现的Focal Loss。
