机器学习损失函数

简介: 机器学习损失函数

最小二乘法

image.png期望和实际值的方差作为损失函数,1/2是为了方便求导。

image.png实际值又是通过权重W和偏置项b来确定,所以我们可以对它训练。

极大似然估计

image.png

我们以抛硬币为例,左边的是我们假设的概率模型,右边是真实世界的实验结果。

image.pngc1,c2,c3…c10是该情况发生的概率,西塔是给定的概率模型。

我们计算上述三种情况得到的概率,如下图所示

image.png我们发现第二种模型,概率最大。这些我们假设模型计算的结果叫做似然值,而最大的似然值就是最大似然值。我们就可以认为最大似然值的概率模型越能描述现实世界。

image.png

如何训练呢?其中概率依赖于W和b,我们写成y。并且展开,加上log方便计算(乘法变加法)下面是个二分类问题。

image.png

交叉熵

公式和极大似然估计一样,但是思路不一样,之后再补充。

相关文章
|
机器学习/深度学习 算法 大数据
机器学习线性回归优化损失函数
机器学习线性回归优化损失函数
81 0
|
7月前
|
机器学习/深度学习 算法 Python
【Python机器学习】神经网络中常用激活函数、损失函数、优化方法(图文解释 附源码)
【Python机器学习】神经网络中常用激活函数、损失函数、优化方法(图文解释 附源码)
269 0
|
2月前
|
机器学习/深度学习 API
机器学习入门(七):线性回归原理,损失函数和正规方程
机器学习入门(七):线性回归原理,损失函数和正规方程
|
机器学习/深度学习 算法
【机器学习】损失函数、代价函数、目标函数之间有什么区别
【机器学习】损失函数、代价函数、目标函数之间有什么区别
354 0
【机器学习】损失函数、代价函数、目标函数之间有什么区别
|
机器学习/深度学习 算法
机器学习常见的损失函数以及何时使用它们
机器学习常见的损失函数以及何时使用它们
222 0
机器学习常见的损失函数以及何时使用它们
|
机器学习/深度学习 搜索推荐 PyTorch
机器学习/深度学习中的常用损失函数公式、原理与代码实践(持续更新ing...)
本文的结构是首先介绍一些常见的损失函数,然后介绍一些个性化的损失函数实例。
机器学习/深度学习中的常用损失函数公式、原理与代码实践(持续更新ing...)
|
机器学习/深度学习 算法 数据挖掘
机器学习大牛是如何选择回归损失函数的?
机器学习大牛是如何选择回归损失函数的?
853 0
机器学习大牛是如何选择回归损失函数的?
|
机器学习/深度学习 知识图谱
ML之LF:机器学习中常见的损失函数(连续型/离散型)的简介、损失函数/代价函数/目标函数之间区别、案例应用之详细攻略
ML之LF:机器学习中常见的损失函数(连续型/离散型)的简介、损失函数/代价函数/目标函数之间区别、案例应用之详细攻略ML之LF:机器学习中常见的损失函数(连续型/离散型)的简介、损失函数/代价函数/目标函数之间区别、案例应用之详细攻略
ML之LF:机器学习中常见的损失函数(连续型/离散型)的简介、损失函数/代价函数/目标函数之间区别、案例应用之详细攻略
|
机器学习/深度学习
机器学习者都应该知道的五种损失函数!
还不知道这五种损失函数?你怎么在机器学习这个圈子里面混?
7193 0