神经网络中使用的代价函数被称作损失函数（Loss Function）。
损失函数衡量了预测与真实样本标签的距离。
Loss的值都会设置为和吻合程度负相关。如果算法公式是正相关，定义损失函数时候加负号，调整为负相关。
通常，回归问题的损失函数为均方误差损失函数，而分类问题会选择交叉熵损失函数。
神经网络训练的过程是通过最小化在训练集上的损失函数进行的。
均方误差损失函数(MSE)通常被用于回归问题，而不适合用于分类问题，有时也被称为L_2损失函数。
交叉熵损失函数(Cross Entropy)通常被用于分类问题，相比于MSE，交叉熵损失在分类预测结果和真实结果相差很大时，会有更大的梯度，因此，更适合神经网络训练。
损失函数
2024-06-14
78
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
【6月更文挑战第14天】损失函数。
目录
相关文章
|
10月前
|
机器学习/深度学习
|
Python
机器学习/深度学习
Cross Entropy Loss 交叉熵损失函数公式推导
表达式
输出标签表示为{0,1}时，损失函数表达式为：
$L = -[y log \hat{y} + (1-y)log(1- \hat{y})]$
二分类
二分类问题，假设 y∈{0,1}
正例：$P(y = 1| x) = \hat{y}$
反例：$P(y=0|x) = 1-\hat{y}$
取似然函数
似然函数就是所有样本在参数θ下发生概率最大的那种情况，由于样本独立同分布，因此概率最大的情况就是每个样本发生概率的连乘。
16020
0
3
|
6月前
|
机器学习/深度学习
算法
什么是损失函数和损失函数关于参数的梯度
损失函数是机器学习中评估模型预测与真实值差异的核心概念，差异越小表明预测越准确。常见损失函数包括均方误差（MSE）、交叉熵损失、Hinge Loss及对数损失等。通过计算损失函数关于模型参数的梯度，并采用梯度下降法或其变种（如SGD、Adam等），可以优化参数以最小化损失，提升模型性能。反向传播算法常用于神经网络中计算梯度。
192
0
0
|
9月前
|
机器学习/深度学习
算法
计算机视觉
【YOLOv8改进-损失函数】SlideLoss损失函数，解决样本不平衡问题
YOLO-FaceV2是基于YOLOv5的实时人脸检测模型，采用RFE模块增强小人脸检测，NWD损失处理定位偏差，SEAM注意力模块应对遮挡，Slide Loss解决样本不平衡，提升对难样本的关注。在WiderFace数据集上超越YOLO系列。论文和代码已公开。Slide Loss通过IoU加权，优化边界样本，提高模型性能。
414
2
2
|
9月前
|
机器学习/深度学习
算法
计算机视觉
|
机器学习/深度学习
损失函数：均方误和交叉熵，激活函数的作用
损失函数（loss function）或代价函数（cost function）是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。
235
1
1
|
机器学习/深度学习
数据可视化
PyTorch
|
机器学习/深度学习
|
机器学习/深度学习
算法
|
机器学习/深度学习
算法
数据挖掘
神经网络基础部件-损失函数详解
大多数深度学习算法都会涉及某种形式的优化，所谓优化指的是改变 x 以最小化或最大化某个函数 f(x) 的任务，我们通常以最小化 f(x) 指代大多数最优化问题。损失函数大致可分为两种：回归损失（针对连续型变量）和分类损失（针对离散型变量）。常用的减少损失函数的优化算法是“梯度下降法”（Gradient Descent）。
462
0
0
热门文章
最新文章
1
如何在chrome上开启WebGL功能和判断目前浏览器是否支持
2
YARN中的CPU资源隔离-CGroups
3
阿里云全面支持IPv6！一文揽尽4位大咖精彩演讲
4
OAuth 及 移动端鉴权调研
5
SQL0286N. DB2表空间的pagesize问题
6
“相约丝博会 共享新机遇”网媒记者走进大唐西市
7
72.11. this is incompatible with sql_mode=only_full_group_by
8
MYSQL: mysqlbinlog读取二进制文件报错read_log_event()
9
jquery省市选择案例
10
ArcEngine的License多选问题
1
Calibre-Web-Automated：打造你的私人图书馆
26
2
微信基于 StarRocks 的实时因果推断实践
25
3
翻译类插件 实现英文文献自由
24
4
Dev-C++保姆级安装教程：Win10/Win11环境配置+避坑指南（附下载验证）
26
5
Axure设计之下拉多选框制作教程A（中继器）
19
6
【原理】【Java并发】【synchronized】适合中学者体质的synchronized原理
19
7
2025年Postman的五大替代工具
28
8
微信小程序开发全流程：从注册到上线的完整指南
24
9
避免15个常见的API测试错误
23
10
别再用盗版镜像了！官方渠道获取Win10 ISO+VMware正版激活全流程
40