⚡半分钟⚡浅入浅出理解Softmax函数

简介: ⚡半分钟⚡浅入浅出理解Softmax函数

最近学习机器学习,项目也有用到分类,用到了Softmax函数。相信很多小伙伴都会用到。


简单说来,Softmax⟶ \longrightarrow⟶归一化指数函数。


为什么说是指数函数呢?


下面来看一下


当我们在做回归的时候


image.png

image.png

左边是我们的估计值和输出,右边使我们的回归模型

image.png

当我们需要做分类的时候,左边的估计值标签只有0-1,而我们得到的y 的值会有正有负,有大有小,若这样得到的损失函数L 则会有很大的偏差,影响分类效果


故引入了Softmax函数,将y 的值归一化到0-1之间。

image.png

y 归一化的Soft-max函数公式:

image.png

image.png

image.png

具体图解如下:

image.png

Caution

image.png

Summary

  1. Softmax 让输入归一化到0-1之间。
  2. 归一化后的值比原本的值之间的差距更大。


相关文章
|
8月前
|
机器学习/深度学习 人工智能 数据可视化
号称能打败MLP的KAN到底行不行?数学核心原理全面解析
Kolmogorov-Arnold Networks (KANs) 是一种新型神经网络架构,挑战了多层感知器(mlp)的基础,通过在权重而非节点上使用可学习的激活函数(如b样条),提高了准确性和可解释性。KANs利用Kolmogorov-Arnold表示定理,将复杂函数分解为简单函数的组合,简化了神经网络的近似过程。与mlp相比,KAN在参数量较少的情况下能达到类似或更好的性能,并能直观地可视化,增强了模型的可解释性。尽管仍需更多研究验证其优势,KAN为深度学习领域带来了新的思路。
2975 5
|
7月前
|
C++
c++primer plus 6 读书笔记 第十一章 使用类
c++primer plus 6 读书笔记 第十一章 使用类
|
8月前
|
存储 机器学习/深度学习 算法
|
8月前
|
Java C++ Python
编程的奇妙世界:膛目结舌的代码技巧探秘
编程的奇妙世界:膛目结舌的代码技巧探秘
|
设计模式 JavaScript 前端开发
从浅入深学习中介者模式
在软件开发中,设计模式是一种用于解决常见问题的重要工具。其中,Mediator(中介者)/Middleware(中间件)设计模式在处理多个组件之间的通信和协调时非常有用。本文将从浅入深地介绍Mediator/Middleware模式,包括其定义、用途以及如何使用JavaScript实现它。
114 0
|
JavaScript 前端开发 数据库
✨从纯函数讲起,一窥最深刻的函子 Monad
建议按顺序“食用”。饮水知其源,由 lambda 演算演化而来的闭包思想是 JavaScript 写在基因里的东西,闭包的“孪生子”柯里化,是封装高阶函数的利器。
|
Python
深度之眼(十七)——Python标准库(下)
深度之眼(十七)——Python标准库(下)
141 0
深度之眼(十七)——Python标准库(下)
|
数据安全/隐私保护 C++ Python
深度之眼(十七)——Python标准库(上)
深度之眼(十七)——Python标准库(上)
152 0
深度之眼(十七)——Python标准库(上)
|
数据采集 算法 数据处理
⚡一分钟⚡搞懂标准化、归一化和中心化
⚡一分钟⚡搞懂标准化、归一化和中心化
⚡一分钟⚡搞懂标准化、归一化和中心化

热门文章

最新文章