Softmax 多分类 | 学习笔记

简介: 快速学习 Softmax 多分类

开发者学堂课程【Tensorflow 2.0入门与实战Softmax 多分类】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/664/detail/11105


Softmax多分类


内容介绍

一、softmax 分类

二、tf.keras 交叉熵

三、Fashion MNIST


一.softmax 分类

对数几率回归解决的是二分类的问题,对于多个选项的问题,我们可以使用softmax 函数它是对数几率回归在N个可能不同的值上的推广

神经网络的原始输出不是一个概率值,实质上只是输入的数值做了复杂的加权和与非线性处理之后的一个值而已,那么如何将这个输出变为概率分布?

这就是 Softmax 层的作用。

image.png

softmax 要求每个样本必须属于某个类别,且所有可能的样本均被覆盖。

softmax 个样本分量之和为1,当只有两个类别时,与对数几率回归完全相同。

 

二、tf.keras 交叉熵

在 tf.keras 里,对于多分类问题我们使用 categorical_crossentropy 和sparse_categorical_crossentropy 来计算 softmax 交叉熵。

softmax 输出的是概率值,使用交叉熵来计算两个概率分布之间的损失。

 

三、Fashion MNIST

Fashion MNIST 的作用是成为经典 MNIST 数据集的简易替换,MNIST 数据集包含手写数字(0、1、2等)的图像,这些图像的格式与本节课中使用的服饰图像的格式相同。

Fashion MNIST 比常规 MNIST 手写数据集更具挑战性。这两个数据集都相对较小,用于验证某个算法能否如期正常运行。它们都是测试和调试代码的良好起点。

如果第一次接触深度学习或做实验,推荐使用 Fashion MNIST 比较简单。

MNIST 手写数据集将作为作业。

Fashion MNIST 数据集包含70000张灰度图像,涵盖10个类别

image.png

我们将使用60000张图像训练网络,并使用10000张图像评估经过学习的网络分类图像的准确率。划分了训练数据和测试数据,这种方法比较客观。

import tensorflow as tf

print(’Tensorflow Version:{}’.format(tf._version_))

Tensorflow Version:2.0.0-alpha()

import pandas as pd

import numpy as np

import matplotlib.pyplot as plt

%matplotlib inline

(train_image,train_lable),(test_image,test_lable)=tf.keras.datasets.fashion_ mnist.lo

可以从 TensorFlow 直接访问 FashionMNIST,只需导入和加载数据即可。

用代码如何取加载 FashionMNIST 数据集

引入 TensorFlow 使用 tf.keras.datasets 加载 FashionMNIST 。

加载以后第一部分为 train_image 和 train_lable,第二部分为 test_image 和 test_lable。

如果是第一次运行,会在国外的网站上下载 FashionMNIST 的数据集,速度会很慢。

 

 

 

相关文章
|
6月前
|
机器学习/深度学习
为什么在二分类问题中使用交叉熵函数作为损失函数
为什么在二分类问题中使用交叉熵函数作为损失函数
191 2
|
Python 机器学习/深度学习
Cross Entropy Loss 交叉熵损失函数公式推导
表达式 输出标签表示为{0,1}时,损失函数表达式为: $L = -[y log \hat{y} + (1-y)log(1- \hat{y})]$ 二分类 二分类问题,假设 y∈{0,1} 正例:$P(y = 1| x) = \hat{y}$ 反例:$P(y=0|x) = 1-\hat{y}$ 取似然函数 似然函数就是所有样本在参数θ下发生概率最大的那种情况,由于样本独立同分布,因此概率最大的情况就是每个样本发生概率的连乘。
15893 0
WK
|
2月前
|
机器学习/深度学习
在神经网络的反向传播中,Tanh和Sigmoid哪个更快
在神经网络反向传播中,Tanh与Sigmoid函数的速度差异并无定论,受网络结构、数据特性及参数设置影响。Sigmoid在远离零时易导致梯度消失,而Tanh因输出范围为(-1, 1)且以0为中心,能更好地缓解此问题,理论上训练速度更快。两者计算复杂度相近,现代硬件优化使这一差距不明显。实际应用中,Sigmoid常用于二分类输出层,Tanh则适用于隐藏层以加速收敛并减少权重更新偏向。随着深度学习发展,ReLU等新激活函数因高效性和轻度梯度消失问题成为主流选择。综合来看,Tanh可能比Sigmoid稍快,但需根据具体任务和网络结构选择。
WK
56 0
|
5月前
|
机器学习/深度学习 数据采集 数据处理
多层感知机(MLP)解决二分类任务
分类任务: 开发一个神经网络,预测一氧化碳 (CO) 浓度是否超过某一阈值(CO(GT) 值的平均值)。这项任务涉及二元分类,即您的模型学会将实例分为两类:高于或低于阈值。阈值。要确定阈值,您必须首先计算CO(GT) 的平均值,其中不包括未知数据(缺失值)。然后,使用该阈值来预测网络预测的值是高于还是低于该阈值。但是您的网络应该能够处理缺失值。
|
机器学习/深度学习 数据采集
Softmax 分类器
机器学习中的 Softmax 分类器是一种常用的多分类模型,它将逻辑回归(Logistic Regression)推广到多分类问题中。在 Softmax 分类器中,我们使用一个二维平面(或多维空间中的超平面)来将不同类别的数据分开。这个超平面由一个线性函数决定,该线性函数可以表示为:y = w1 * x1 + w2 * x2 +... + wn * xn 其中,y 是输出变量(通常为类别的概率向量),x1, x2,..., xn 是输入变量,w1, w2,..., wn 是需要学习的权重。 Softmax 分类器的主要优点是它可以处
184 3
|
机器学习/深度学习 算法 PyTorch
Softmax回归(Softmax Regression)
Softmax回归(Softmax Regression),也称为多类别逻辑回归或多项式回归,是一种用于解决多类别分类问题的统计学习方法。它是逻辑回归在多类别情况下的扩展。
260 3
|
机器学习/深度学习 数据挖掘 PyTorch
Softmax Classifier 多分类问题
Softmax Classifier 多分类问题
99 0
|
机器学习/深度学习 PyTorch 算法框架/工具
pytorch实现基本的logistic和softmax回归实验(手动+torch)
pytorch实现基本的logistic和softmax回归实验(手动+torch)
317 0
|
机器学习/深度学习 数据可视化 计算机视觉
图像分类_03分类器及损失:线性分类+ SVM损失+Softmax 分类+交叉熵损失
解释:w的每⼀⾏都是其中⼀个类的分类器。这些数字的⼏何解释是,当我们改变w的⼀行时,像素空间中相应的线将以不同的⽅向旋转。⽽其中的偏置是为了让我们避免所有的分类器都过原点。
167 0
|
机器学习/深度学习 算法框架/工具 开发者
逻辑回归与交叉熵 | 学习笔记
快速学习逻辑回归与交叉熵
逻辑回归与交叉熵 | 学习笔记

相关实验场景

更多