1. 分类 - 交叉熵
讲解博文：损失函数｜交叉熵损失函数 - 知乎
1.1 二分类-BCELoss系
二分类可以使用BCELoss，比如链路预测任务预测某条边是否存在，或者多标签分类中将每个类作为一个二分类任务（但是一般来说这样效果会很差），就用BCELoss。
torch.nn.BCEWithLogitsLoss=sigmoid (torch.special.expit) +torch.nn.BCELoss
BCEWithLogitsLoss — PyTorch 1.12 documentation
直接使用torch.nn.BCEWithLogitsLoss在数学上更稳定。
torch.nn.BCEWithLogitsLoss(weight=None, size_average=None, reduce=None, reduction='mean', pos_weight=None)
单标签二分类（一般都是这样的）：
loss = nn.BCEWithLogitsLoss() input = torch.randn(3, requires_grad=True) target = torch.empty(3).random_(2) output = loss(input, target) output.backward()
多标签二分类：
target = torch.ones([10, 64], dtype=torch.float32) # 64 classes, batch size = 10 output = torch.full([10, 64], 1.5) # A prediction (logit) pos_weight = torch.ones([64]) # All weights are equal to 1 criterion = torch.nn.BCEWithLogitsLoss(pos_weight=pos_weight) criterion(output, target) # -log(sigmoid(1.5))
输出：tensor(0.2014)
多分类用CrossEntropyLoss（等于softmax+NLLLoss）
其他相关参考资料：
- 细数nn.BCELoss与nn.CrossEntropyLoss的区别_python_脚本之家
- nn.BCELoss与nn.CrossEntropyLoss的区别_耐耐~的博客-CSDN博客_bceloss和crossentropy
- nn.BCELoss()与nn.CrossEntropyLoss()的区别_Offer.harvester的博客-CSDN博客
- 【基础知识】多标签分类CrossEntropyLoss 与 二分类BCELoss_All_In_gzx_cc的博客-CSDN博客_bceloss crossentropy
- pytorch BCELoss和BCEWithLogitsLoss - 那抹阳光1994 - 博客园
- Pytorch nn.BCEWithLogitsLoss()的简单理解与用法_xiongxyowo的博客-CSDN博客_nn.bcewithlogitsloss
2. 二分类 - hinge loss
参考资料：
- Hinge loss - Wikiwand
- 怎么样理解SVM中的hinge-loss？ - 知乎
3. 回归 - MSE
4. 魔改损失函数的示例
- 多任务
SPACES模型，示例损失函数部分TensorFlow1+Keras代码：SPACES/seq2seq_model.py at main · bojone/SPACES
- 自定义：图神经网络节点表征模型PTA，PyTorch代码，我参考原始项目复现出来的。损失函数分成2部分，一部分在模型中直接定义随epoch变化的损失函数：rgb-experiment/pta.py at master · PolarisRisingWar/rgb-experiment，一部分在训练和测试的时候额外增加设定的超参：rgb-experiment/itexperiments.py at master · PolarisRisingWar/rgb-experiment
- 多任务+自定义：legal judgment prediction模型EPM：在train()函数中，又是多任务，又加了mask（在原论文中定义为“constraint”）：EPM/model.py at main · WAPAY/EPM
