5、Logistic Regression 逻辑斯蒂回归
B站视频教程传送门：PyTorch深度学习实践 - 逻辑斯蒂回归
5.1 回归任务
在开始学习逻辑斯蒂回归之前，我们先简单复习一下之前学过的线性回归：
并且我们使用的数据集也非常的简单：
当我们使用复杂的数据集时，比如 MNIST Dataset 或 CIFAR-10 dataset，就涉及到了分类的问题。
5.1.1 MNIST Dataset
这是一个手写数字的数据库，来源于 MNIST Dataset：
- 训练集：60000个样本
- 测试集：10000个样本
- 类：10（0，1，2，…，9）
可通过以下方式进行下载并使用：
import torchvision train_set = torchvision.datasets.MNIST(root='../dataset/mnist', train=True, download=True) test_set = torchvision.datasets.MNIST(root='../dataset/mnist', train=False, download=True
5.1.2 CIFAR-10 Dataset
这是一个各种图像的数据库，来源于 CIFAR-10 Dataset：
- 训练集：50000个样本
- 测试集：10000个样本
- 类：10（airplane，automobile，bird，…）
可通过以下方式进行下载并使用：
import torchvision train_set = torchvision.datasets.CIFAR10(root='../dataset/cifar10', train=True, download=True) test_set = torchvision.datasets.CIFAR10(root='../dataset/cifar10', train=False, download=True
5.2 Regression vs Classification 回归 vs 分类
回归： y ∈ R 连续的空间
逻辑斯蒂回归： 主要是做分类的，估算 y 属于哪一个类别，不是让 y 等于某一个特定值（因为类别无法进行比较），而是估算其属于每个分类的概率，概率较大的则是分类的结果。
二分类： 只有两个类别的分类问题，且 P(y = 1) + P(y = 0) = 1
想计算概率属于[0, 1]，而不是实数，可以使用
sigmod()函数将实数空间映射到[0, 1]之间。
5.3 Sigmoid functions
5.3.1 Logistic Function [0, 1]
维基百科 - Logistic Function：https://en.wikipedia.org/wiki/Logistic_function
5.3.2 Other Functions [-1, 1]
5.4 Model 模型
Linear Model：
class LinearModel(torch.nn.Module): def __init__(self): super(LinearModel, self).__init__() self.linear = torch.nn.Linear(1, 1) def forward(self, x): y_pred = self.linear(x) return y_pred
Logistic Regression Model：
class LogisticRegressionModel(torch.nn.Module): def __init__(self): super(LogisticRegressionModel, self).__init__() self.linear = torch.nn.Linear(1, 1) def forward(self, x): y_pred = F.sigmoid(self.linear(x)) # 注意：使用F.sigmoid()会报错，可替换为torch.sigmoid() return y_pred
5.5.1 torch.sigmoid()、torch.nn.Sigmoid()、torch.nn.functional.sigmoid()
当导入 torch.nn.functional as F 并使用 F.sigmoid() ，会报错 UserWarning: nn.functional.sigmoid is deprecated. Use torch.sigmoid instead.。表明 nn.functional.sigmoid 已经被弃用，如果需要可以使用 torch.sigmoid。
我们来看一下3种 sigmoid() 函数的区别：
1、torch.sigmoid() 函数
3、torch.nn.functional.sigmoid() 函数
5.5 Loss Function 损失函数
Loss function for （Linear Regression - Binary Classification） 如下图所示：
Mini-Batch Loss function for Binary Classification 如下图所示：
# 1、Linear Model 线性模型 criterion = torch.nn.MSELoss(reduction='sum') #2、Logistic Regression Model 逻辑斯蒂回归模型 criterion = torch.nn.BCELoss(reduction='sum')
注意1、在函数 MSELoss 或 BCELoss 中，参数 size_average 和 reduce 均已被弃用：
注意2、MSELoss 和 BCELoss 的区别：
5.6 Implementation 实施
在具体代码实现之前，我们需要导入所需要的包：
import torch import numpy as np import matplotlib.pyplot as plt from torch import nn
5.6.1 Prepare Dataset 准备数据集
x_data = torch.Tensor([[1.0], [2.0], [3.0]]) y_data = torch.Tensor([[0], [0], [1]])
5.6.2 Design Model 设计模型
class Liang(nn.Module): def __init__(self): super(Liang, self).__init__() self.linear = nn.Linear(1, 1) def forward(self, x): y_pred = torch.sigmoid(self.linear(x)) return y_pred model = Liang()
5.6.3 Construct Loss and Optimizer 构造损失和优化器
criterion = torch.nn.BCELoss(reduction='sum') optimizer = torch.optim.SGD(model.parameters(), lr=0.01)
5.6.4 Training Cycle 训练周期
for epoch in range(1000): y_pred = model(x_data) loss = criterion(y_pred, y_data) print(epoch, loss.item()) optimizer.zero_grad() loss.backward() optimizer.step()
5.6.5 Test Model 测试模型
# Output weight and bias print('w = ', model.linear.weight.item()) print('b = ', model.linear.bias.item()) # Test x_test = torch.Tensor([[4.0]]) y_test = model(x_test) print('y_pred = ', y_test.item())
5.6.6 绘图
x = np.linspace(0, 10, 200) # 返回0~10等间距的200个数 x_t = torch.Tensor(x).view((200, 1)) # 200行1列的Tensor y_t = model(x_t) y = y_t.data.numpy() # 将torch.Tensor转换为numpy.ndarray plt.plot(x, y) plt.plot([0, 10], [0.5, 0.5], color='red') # 画线，x取0~10，y取0.5 plt.xlabel('Hours') plt.ylabel('Probability of Pass') plt.grid() # 显示网格线（1或True 默认显示；0或False 不显示） plt.show()
5.6.7 完整代码
import torch import numpy as np import matplotlib.pyplot as plt from torch import nn # Prepare dataset x_data = torch.Tensor([[1.0], [2.0], [3.0]]) y_data = torch.Tensor([[0], [0], [1]]) # Design model class Liang(nn.Module): def __init__(self): super(Liang, self).__init__() self.linear = nn.Linear(1, 1) def forward(self, x): y_pred = torch.sigmoid(self.linear(x)) return y_pred model = Liang() # Construct loss and optimizer criterion = torch.nn.BCELoss(reduction='sum') optimizer = torch.optim.SGD(model.parameters(), lr=0.01) # Training cycle for epoch in range(1000): y_pred = model(x_data) loss = criterion(y_pred, y_data) print(epoch, loss.item()) optimizer.zero_grad() loss.backward() optimizer.step() # Output weight and bias print('w = ', model.linear.weight.item()) print('b = ', model.linear.bias.item()) # Test Model x_test = torch.Tensor([[4.0]]) y_test = model(x_test) print('y_pred = ', y_test.item()) # Result x = np.linspace(0, 10, 200) # 返回0~10等间距的200个数 x_t = torch.Tensor(x).view((200, 1)) # 200行1列的Tensor y_t = model(x_t) y = y_t.data.numpy() # 将torch.Tensor转换为numpy.ndarray plt.plot(x, y) plt.plot([0, 10], [0.5, 0.5], color='red') # 画线，x取0~10，y取0.5 plt.xlabel('Hours') plt.ylabel('Probability of Pass') plt.grid() # 显示网格线（1或True 默认显示；0或False 不显示） plt.show()
0 2.7373640537261963 1 2.693269729614258 2 2.651460647583008 ... 995 1.0572519302368164 996 1.0567638874053955 997 1.0562764406204224 998 1.055789589881897 999 1.0553032159805298 w = 1.1830791234970093 b = -2.858741283416748 y_pred = 0.8668714165687561
