神经网络中使用的代价函数被称作损失函数（Loss Function）。
损失函数衡量了预测与真实样本标签的距离。
Loss的值都会设置为和吻合程度负相关。如果算法公式是正相关，定义损失函数时候加负号，调整为负相关。
通常，回归问题的损失函数为均方误差损失函数，而分类问题会选择交叉熵损失函数。
神经网络训练的过程是通过最小化在训练集上的损失函数进行的。
均方误差损失函数(MSE)通常被用于回归问题，而不适合用于分类问题，有时也被称为L_2损失函数。
交叉熵损失函数(Cross Entropy)通常被用于分类问题，相比于MSE，交叉熵损失在分类预测结果和真实结果相差很大时，会有更大的梯度，因此，更适合神经网络训练。
损失函数
2024-06-14
29
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
【6月更文挑战第14天】损失函数。
目录
相关文章
|
4月前
|
机器学习/深度学习
|
8天前
|
机器学习/深度学习
算法
什么是损失函数和损失函数关于参数的梯度
损失函数是机器学习中评估模型预测与真实值差异的核心概念，差异越小表明预测越准确。常见损失函数包括均方误差（MSE）、交叉熵损失、Hinge Loss及对数损失等。通过计算损失函数关于模型参数的梯度，并采用梯度下降法或其变种（如SGD、Adam等），可以优化参数以最小化损失，提升模型性能。反向传播算法常用于神经网络中计算梯度。
14
0
0
|
3月前
|
机器学习/深度学习
算法
计算机视觉
【YOLOv8改进-损失函数】SlideLoss损失函数，解决样本不平衡问题
YOLO-FaceV2是基于YOLOv5的实时人脸检测模型，采用RFE模块增强小人脸检测，NWD损失处理定位偏差，SEAM注意力模块应对遮挡，Slide Loss解决样本不平衡，提升对难样本的关注。在WiderFace数据集上超越YOLO系列。论文和代码已公开。Slide Loss通过IoU加权，优化边界样本，提高模型性能。
100
2
2
|
3月前
|
机器学习/深度学习
算法
计算机视觉
|
机器学习/深度学习
|
算法
异构计算
|
机器学习/深度学习
|
机器学习/深度学习
算法
|
机器学习/深度学习
数据可视化
PyTorch
