1.图像分类概述
任务描述：图像分类旨在从图像、视频或者类似高维数据中识别物体的类别，原始的图像、视频或类似数据经过数据预处理后，进入图像分类模型进行前向预测，最终得到数据中每个实例的对应类别。
案例知识点
方法概述：首先将数据划分为训练集和验证集，并对进行数据增强以增加训练样本。可以将样本可视化检视训练数据。之后设计卷积神经网络对图像进行特征的提取并进行分类：对于输入格式为H*W*3的图片，使用卷积层提取图像特征，使用池化层压缩参数和计算量，最后使用全连接层根据提取得到的特征进行分类。训练完成后，使用模型在验证集上进行预测，可将结果可视化以检查预测情况。将模型的分类结果和数据原本的标签做比较，可以得到模型预测的准确率。除了从头开始训练一个模型外，也可以选择预训练的模型在数据集上进行微调。
2.数据集介绍
本案例使用的数据集是一个昆虫分类的数据集，包含蚂蚁和蜜蜂两类样本。
数据集划分为训练集和验证集：
训练集位于datasets/train/ 目录下，两类的图片分别位于ants和bees目录下
验证 集位于datasets/val/ 目录下，两类的图片分别位于ants和bees目录下
蚂蚁样本
蜜蜂样本
3.从零实现一个用于图像分类的卷积神经网络
深度学习中图像分类任务常常使用卷积神经网络，常见的结构为卷积层+池化层+全连接层组成，下面我们实现一个简单的卷积神经网络
import torch import torch.nn as nn import torch.nn.functional as F class Net(nn.Module): def __init__(self): super(Net, self).__init__() # 第一个卷积层， 输入图像通道为3 , 输出的通道数为64 , 卷积核大小为3x3 self.conv1 = nn.Conv2d(3, 64, 3, stride=2) # 第二个卷积层， 输入通道数为64 , 输出的通道数为128 , 卷积核大小为3x3 self.conv2 = nn.Conv2d(64, 128, 3) # 第三个卷积层， 输入通道数为16 , 输出的通道数为3256 , 卷积核大小为3x3 self.conv3 = nn.Conv2d(128, 256, 3) # 第一个全连接层 self.fc1 = nn.Linear(256 * 12 * 12, 256) # 第二个全连接层 self.fc2 = nn.Linear(256, 128) # 最后的全连接层，输出为2代表2分类 self.fc3 = nn.Linear(128, 2) def forward(self, x): # 输入图像经过第一个卷积层卷积 x = self.conv1(x) # 卷积后经过relu激活函数层 x = F.relu(x) # 使用 2*2大小的 最大池化层进行池化 x = F.max_pool2d(x, (2, 2)) # 经过第二个卷积层卷积 x = self.conv2(x) # 卷积后经过relu激活函数层 x = F.relu(x) # 使用 2*2大小的 最大池化层进行池化 x = F.max_pool2d(x, (2, 2)) # 经过第三个卷积层卷积 x = self.conv3(x) # 卷积后经过relu激活函数层 x = F.relu(x) # 使用 2*2大小的 最大池化层进行池化 x = F.max_pool2d(x, (2, 2)) # 将卷积后的二维的特征图展开为一维向量用于全连接层的输入 x = x.view(-1, self.num_flat_features(x)) # 经过第一个全连接层和relu激活函数 x = F.relu(self.fc1(x)) # 经过第二个全连接层和relu激活函数 x = F.relu(self.fc2(x)) # 经过最终的全连接层分类 x = self.fc3(x) return x def num_flat_features(self, x): size = x.size()[1:] num_features = 1 for s in size: num_features *= s return num_features # 构建网络 net = Net() print(net)
Net( (conv1): Conv2d(3, 64, kernel_size=(3, 3), stride=(2, 2)) (conv2): Conv2d(64, 128, kernel_size=(3, 3), stride=(1, 1)) (conv3): Conv2d(128, 256, kernel_size=(3, 3), stride=(1, 1)) (fc1): Linear(in_features=36864, out_features=256, bias=True) (fc2): Linear(in_features=256, out_features=128, bias=True) (fc3): Linear(in_features=128, out_features=2, bias=True) )
4.数据处理
4.1 数据载入
使用torchvision和torch.utils.data包来载入数据。
训练数据中两类数据各包含120张图片，验证集中两类数据各包含75张图片。
from __future__ import print_function, division import torch import torch.nn as nn import torch.optim as optim from torch.optim import lr_scheduler import numpy as np import torchvision from torchvision import datasets, models, transforms import matplotlib.pyplot as plt import time import os import copy plt.ion() data_transforms = { # 训练中的数据增强和归一化 'train': transforms.Compose([ transforms.RandomResizedCrop(224), # 随机裁剪 transforms.RandomHorizontalFlip(), # 左右翻转 transforms.ToTensor(), transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) # 均值方差归一化 ]), # 验证集不增强，仅进行归一化 'val': transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) ]), } data_dir = 'datasets/hymenoptera_data' image_datasets = {x: datasets.ImageFolder(os.path.join(data_dir, x), data_transforms[x]) for x in ['train', 'val']} dataloaders = {x: torch.utils.data.DataLoader(image_datasets[x], batch_size=4, shuffle=True, num_workers=4) for x in ['train', 'val']} dataset_sizes = {x: len(image_datasets[x]) for x in ['train', 'val']} class_names = image_datasets['train'].classes device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")
4.2 增强数据可视化
可视化一些增强后的图片来查看效果。
def imshow(inp, title=None): # 将输入的类型为torch.tensor的图像数据转为numpy的ndarray格式 # 由于每个batch的数据是先经过transforms.ToTensor()函数从numpy的ndarray格式转换为torch.tensor格式，这个转换主要是通道顺序上做了调整： # 由原始的numpy中的BGR顺序转换为torch中的RGB顺序 # 所以我们在可视化时候，要先将通道的顺序转换回来，即从RGB转回BGR inp = inp.numpy().transpose((1, 2, 0)) # 接着再进行反归一化 mean = np.array([0.485, 0.456, 0.406]) std = np.array([0.229, 0.224, 0.225]) inp = std * inp + mean inp = np.clip(inp, 0, 1) plt.imshow(inp) if title is not None: plt.title(title) plt.pause(0.001) # 从训练数据中取一个batch的图片 inputs, classes = next(iter(dataloaders['train'])) out = torchvision.utils.make_grid(inputs) imshow(out, title=[class_names[x] for x in classes])
5.训练模型
def train_model(model, criterion, optimizer, scheduler, num_epochs=25): since = time.time() best_model_wts = copy.deepcopy(model.state_dict()) best_acc = 0.0 for epoch in range(num_epochs): print('Epoch {}/{}'.format(epoch, num_epochs - 1)) print('-' * 10) # 每一个epoch都会进行一次验证 for phase in ['train', 'val']: if phase == 'train': model.train() # 设置模型为训练模式 else: model.eval() # 设置模型为验证模式 running_loss = 0.0 running_corrects = 0 # 迭代所有样本 for inputs, labels in dataloaders[phase]: inputs = inputs.to(device) labels = labels.to(device) # 将梯度归零 optimizer.zero_grad() # 前向传播网络，仅在训练状态记录参数的梯度从而计算loss with torch.set_grad_enabled(phase == 'train'): outputs = model(inputs) _, preds = torch.max(outputs, 1) loss = criterion(outputs, labels) # 反向传播来进行梯度下降 if phase == 'train': loss.backward() optimizer.step() # 统计loss值 running_loss += loss.item() * inputs.size(0) running_corrects += torch.sum(preds == labels.data) if phase == 'train': scheduler.step() epoch_loss = running_loss / dataset_sizes[phase] epoch_acc = running_corrects.double() / dataset_sizes[phase] print('{} Loss: {:.4f} Acc: {:.4f}'.format( phase, epoch_loss, epoch_acc)) # 依据验证集的准确率来更新最优模型 if phase == 'val' and epoch_acc > best_acc: best_acc = epoch_acc best_model_wts = copy.deepcopy(model.state_dict()) print() time_elapsed = time.time() - since print('Training complete in {:.0f}m {:.0f}s'.format( time_elapsed // 60, time_elapsed % 60)) print('Best val Acc: {:4f}'.format(best_acc)) # 载入最优模型 model.load_state_dict(best_model_wts) return model
[6]
# 定义分类loss criterion = nn.CrossEntropyLoss() # 优化器使用sgd，学习率设置为0.001 optimizer_ft = optim.SGD(net.parameters(), lr=0.001, momentum=0.9) # 每7个epoch将lr降低为原来的0.1 exp_lr_scheduler = lr_scheduler.StepLR(optimizer_ft, step_size=7, gamma=0.1) # 进行训练 cnn_model = train_model(net, criterion, optimizer_ft, exp_lr_scheduler, num_epochs=25)
Epoch 0/0
----------
train Loss: 0.6891 Acc: 0.5574
val Loss: 0.6896 Acc: 0.5359
Training complete in 0m 17s
Best val Acc: 0.535948
6.可视化模型预测结果
def visualize_model(model, num_images=6): was_training = model.training model.eval() images_so_far = 0 fig = plt.figure() with torch.no_grad(): for i, (inputs, labels) in enumerate(dataloaders['val']): inputs = inputs.to(device) labels = labels.to(device) outputs = model(inputs) _, preds = torch.max(outputs, 1) for j in range(inputs.size()[0]): images_so_far += 1 ax = plt.subplot(num_images//2, 2, images_so_far) ax.axis('off') ax.set_title('predicted: {}'.format(class_names[preds[j]])) imshow(inputs.cpu().data[j]) if images_so_far == num_images: model.train(mode=was_training) return model.train(mode=was_training)
visualize_model(cnn_model)
7.使用现有模型和预训练模型
可以看到由于数据量不足且训练的epoch不够，我们从零搭建训练的网络效果并不理想。通常来讲，我们会选择一些现有的模型配合在它们上训练好的预训练模型来直接finetune，下面我们使用torchvision中自带的resnet18为例
7.1 定义模型
# 从torchvision中载入resnet18模型，并且加载预训练 model_conv = torchvision.models.resnet18(pretrained=True) # freeze前面的卷积层，使其训练时不更新 for param in model_conv.parameters(): param.requires_grad = False # 最后的分类fc层输出换为2，进行二分类 num_ftrs = model_conv.fc.in_features model_conv.fc = nn.Linear(num_ftrs, 2) model_conv = model_conv.to(device) criterion = nn.CrossEntropyLoss() # 仅训练最后改变的fc层 optimizer_conv = optim.SGD(model_conv.fc.parameters(), lr=0.001, momentum=0.9) exp_lr_scheduler = lr_scheduler.StepLR(optimizer_conv, step_size=7, gamma=0.1) print(model_conv)
