⚡半分钟⚡浅入浅出理解Softmax函数

简介: ⚡半分钟⚡浅入浅出理解Softmax函数

最近学习机器学习,项目也有用到分类,用到了Softmax函数。相信很多小伙伴都会用到。


简单说来,Softmax⟶ \longrightarrow⟶归一化指数函数。


为什么说是指数函数呢?


下面来看一下


当我们在做回归的时候


image.png

image.png

左边是我们的估计值和输出,右边使我们的回归模型

image.png

当我们需要做分类的时候,左边的估计值标签只有0-1,而我们得到的y 的值会有正有负,有大有小,若这样得到的损失函数L 则会有很大的偏差,影响分类效果


故引入了Softmax函数,将y 的值归一化到0-1之间。

image.png

y 归一化的Soft-max函数公式:

image.png

image.png

image.png

具体图解如下:

image.png

Caution

image.png

Summary

  1. Softmax 让输入归一化到0-1之间。
  2. 归一化后的值比原本的值之间的差距更大。


相关文章
|
10月前
|
机器学习/深度学习 人工智能 数据可视化
号称能打败MLP的KAN到底行不行?数学核心原理全面解析
Kolmogorov-Arnold Networks (KANs) 是一种新型神经网络架构,挑战了多层感知器(mlp)的基础,通过在权重而非节点上使用可学习的激活函数(如b样条),提高了准确性和可解释性。KANs利用Kolmogorov-Arnold表示定理,将复杂函数分解为简单函数的组合,简化了神经网络的近似过程。与mlp相比,KAN在参数量较少的情况下能达到类似或更好的性能,并能直观地可视化,增强了模型的可解释性。尽管仍需更多研究验证其优势,KAN为深度学习领域带来了新的思路。
3366 5
|
9月前
|
C++
c++primer plus 6 读书笔记 第十四章 C++中的代码重用
c++primer plus 6 读书笔记 第十四章 C++中的代码重用
|
9月前
|
编译器 C++
c++primer plus 6 读书笔记 第八章 函数探幽0
c++primer plus 6 读书笔记 第八章 函数探幽0
|
10月前
|
监控 算法 数据可视化
BN层迎来升级版MABN | 轻轻松松几行代码帮你解决跨域问题,同时顺手涨点
BN层迎来升级版MABN | 轻轻松松几行代码帮你解决跨域问题,同时顺手涨点
149 0
BN层迎来升级版MABN | 轻轻松松几行代码帮你解决跨域问题,同时顺手涨点
|
人工智能 JSON 前端开发
一眼就懂的TVM7大功能
简明扼要的介绍TVM的7大功能
|
缓存 NoSQL 网络协议
|
数据采集 算法 数据处理
⚡一分钟⚡搞懂标准化、归一化和中心化
⚡一分钟⚡搞懂标准化、归一化和中心化
⚡一分钟⚡搞懂标准化、归一化和中心化
|
机器学习/深度学习 算法 Python
⚡机器学习⚡中的优化器(Optimizers)方法
⚡机器学习⚡中的优化器(Optimizers)方法
⚡机器学习⚡中的优化器(Optimizers)方法
|
机器学习/深度学习 数据可视化 数据挖掘
⚡自组织映射(SOM)神经网络⚡Python实现 |Python技能树征题
⚡自组织映射(SOM)神经网络⚡Python实现 |Python技能树征题
⚡自组织映射(SOM)神经网络⚡Python实现 |Python技能树征题