图像分类基础与实战

简介: 图像分类指将不同图像划分为不同类别标签的过程。从计算机的视角来看,一张图片是一个值从0到255的矩阵,计算机对矩阵进行分析,得到类别结果,即计算机视觉的图像分类。

理论


什么是图像分类?

图像分类指将不同图像划分为不同类别标签的过程。从计算机的视角来看,一张图片是一个值从0到255的矩阵,计算机对矩阵进行分析,得到类别结果,即计算机视觉的图像分类。


图像分类是计算机视觉领域最基础的问题,解决的问题是:给定一个图像,正确地给出图像所属类别,是最底层、最基本的任务,常作为其他任务的预处理或与其他任务融合在一起,目标检测也是图像分类的子任务。


可以说,计算机视觉基础模型的发展是图像分类提升任务的发展,做好图像分类任务,关系到后续更高阶的内容。


图像分类的应用场景非常丰富,比如图像识别APP,能够识别动物、植物,汽车的车型,水果、蔬菜等;比如iPhone手机上自带的照片自动分类功能;比如电商平台图像内容检索,用户每天可能会上传几万张鞋子图片,后台需要将照片进行分类处理,建立数据库,用户进行图像搜索时,能够实现更精准的搜索;另外,也可用于垃圾分类等场景。


总的来说,图像分类是用于识别某张图片是否为某个物体/状态/场景,适合图像中的主题或状态单一的场景。


图像的领域划分主要有:

多类别图像分类,指每个图像只属于其中一个类别,比如一张图像只能属于猫或只能属于狗。特点为具有较大的类间方差,较小的类内误差,是图像分类中最简单最基本的任务。


细粒度图像分类,比如两张图像中都是猫,但属于不同品种的猫,具有相似的外观和特征,类内差异比较大,因此分类难度更高。


多标签图像分类:每个图像都拥有两种以上的类别,比如一张图中既有猫也有狗,因此标签类别既是猫也是狗。


根据监督信息的不同,分为有监督、弱监督、无监督、自监督等学习:

弱监督学习是机器学习中最经典的任务之一,在训练集中只有少数的标签数据,大部分为未标签数据,训练出的模型用来预测的测试集中有可能是有标签的,也有可能是无标签的;

无监督图像分类指训练集中都是无标签的数据,训练出的模型用来预测的测试集中都是没有标签的。


0样本图像分类:也称为0样本学习模型,能够识别出训练阶段没有出现过的类别,即训练集和测试集在数据的类别上没有交集,是解决类别标签缺失的一种方法。比如图像中训练的数据只有马、老虎和熊猫三个类别的数据,0样本图像分类会通过已有的知识,比如马、老虎与熊猫的描述,对同时拥有马的形状、老虎的斑纹、熊猫的黑白颜色特征的动物识别为斑马。

0样本图像分类指利用类别的高维语义特征来代替样本的低维特征,使得训练出来的模型具有迁移性。比如斑马的高维语义指马的外形、老虎的斑纹和熊猫的颜色,通过高维的语义刻画了斑马类别的特征,从而识别出模型从来没有见过的斑马图像。


传统图像分类的过程为:输入一张图片,手工提取特征,再使用分类器进行分类,最终输出分类的结果。


深度学习的图像分类过程为:将特征提取和分类器合并在一起,输入一张图像,自动提取特征,输出分类结果,是端到端的识别过程。


传统的图像分类与深度学习的图像分类过程大致一样,都是数据的预处理、特征提取、分类的过程。


上图为图像分类常用的评估指标。


标签值和预测值之间会产生4种组合,分别是:


TP:标签为正样本,预测也为正样本。说明模型预测正确,是真正的正样本,也说明模型能够正确识别正样本。


FN:标签为正样本,预测值为负样本,说明预测错误,是假的负样本。属于漏报了正样本。


FP:标签为负样本,预测值为正样本,说明预测错误,是假的正样本。属于误报了负样本。


TN:标签为负样本,预测也为负样本,说明模型正确预测了负样本,是真的负样本。


精度(也称为查准率)的定义为:预测为正样本的所有样本中,真正的正样本所占比例,P=TP/(TP+FP)。


召回率(也称为查全率)指预测为正样本的样本占所有正样本的比例,R=TP/(TP+FN)。


F1-score指综合考虑精度和召回率,是两者的调和平均,F1=2*P*R/(P+R)。


PR曲线是描述精度和召回率关系的曲线,横坐标是召回率,纵坐标是精度。精度和召回率是一对相互矛盾的指标,如果召回率增加,则精度下降;如果精度增加,则召回率下降。曲线和坐标轴围成的面积越大,说明模型的性能越好。但PR曲线对正负样本不均衡较为敏感,正负样本类别差异较大时,PR曲线会变化较严重。


为了解决PR曲线的问题,业内提出了ROC曲线,它涉及到两个基本指标,分别是:


TPR:指预测的正样本中真实的正样本占所有正样本的比例。


FPR:指预测的负样本中真实的负样本占所有负样本的比例。


ROC曲线对正负样本的不平衡问题不敏感。ROC曲线下的面积被称为AUC,AUC越大,说明模型的性能越好。ROC表示随机挑选正样本和负样本,分类器对正样本给出的预测值高于负样本的概率。


混淆矩阵描述了多类别分类模型各个类别之间的分类情况。


对于k分类问题,混淆矩阵为k*k的矩阵,元素Cij表示第i类样本被分类器预测为第j类的数量。混淆矩阵是分类任务常用的评估指标。对角线上是正确分类的样本数,其他是错误分类的样本数。对对角线上的值越大,说明正确率越高。


混淆矩阵可以非常直观地展示模型的表现情况,尤其是不同类别之间的混淆情况,能够清晰地反映出某样本会以多大概率被分为其他类别,直观地展示哪些类别之间比较容易混淆。


比如上图中的“21”表示标签值的类别为b、却被预测为d类别的样本数,说明模型很容易将类别b识别成类别d,需要针对性地对该种情况进行调整。


上图为图像分类常用的优化指标。


0-1损失指当预测值等于标签值时损失为1,否则损失为0。0-1损失也是非常直观的损失定义,是真实的优化目标。但无法求导,且不连续,无法进行反向传播,只有理论意义。


学术界更常用的是以熵为代表的分类损失。


熵表示热力学系统的无序程度,在信息学中用于表示信息的多少。不确定性越大,概率越低,则表示携带的信息越多,熵也越高。


常用的分类损失是交叉熵,用于衡量两个概率分布之间的相似性。假设有n个样本、m个类别,yij表示第i个样本,属于第j类的标签,f(Xij)表示第i个样本预测为第j类的概率。


可以将yij看作标签的概率分布,f(Xij)看作分类模型预测值的概率分布,交叉熵衡量主要用于两个概率分布之间的相似程度。


Softmax损失指:当f(Xij)为Softmax函数时,Softmax损失是交叉熵损失的特例。


KL散度通常用来估计两个分布之间的相似性。假设有两个分布p和q,则KL散度等于p和q的交叉熵加上p和p的交叉熵的负值。如果p是一个已知的分布,则-l(p,p)是一个常数,此时的KL散度与交叉熵l(p,q)只相差一个常数,因此它们是等价的。


上图为经典的开源数据集。其中PASCAL数据集常用于目标检测,也可以用来做图像的分类。ImageNet是图像分类最重要的数据集,很多的论文都将其作为训练后的测试基准。


图像分类CNN模型



CNN指卷积神经网络,借鉴人类视觉的基本原理,人类视觉具有分层的机制,与计算机的视觉相比,人类视觉从V1到V2到V4,抽象层次依次提升。人类观察一个物品,会先看到的边缘的线条,再看到的形状,再看到物体,最后抽象为某个事物。


CNN是由很多网络堆叠而成的模型,从图像输入到最后得到可以完成模式识别的高层特征,也是逐层抽象的过程。


在浅层,算子提取到的是浅层的特征,比如边缘特征和颜色;随着模型的加深,会逐渐提取到更深层的、抽象的特征。其中特征提取使用的便是神经网络,其核心为卷积的操作。


上图为单个卷积的示意图像。卷积的本质为:在输入特征图像上通过滑动窗口的方式进行乘加的求和。右上角是卷积层的示意图,假设输入为3个通道的特征图像,通过4*3个卷积核的权重,每一个卷积核都与输入的特征进行卷积,最终输出4个特征图像,以上便是一层的卷积。


上图展示了图像分类的经典CNN模型与发展历程。


CNN模型的开山之作是LeNet5,具有三个卷积层,两个池化层,两个全连接层,并且增加了非线性的映射,输入大小为32*32,经过一个卷积层、上采样、卷积层、上采样、卷积层,最后经过两个全连接层,输出分类的结果。该模型较为简单,深度只有3层。


深度学习真正爆发在于2012年提出的AlexNet模型网模型,它取得了ImageNet分类比赛的冠军,且分类准确率远远超过使用传统方法得到的分类结果,是真正意义上的现代神经网络。因此,2012年也成为深度学习的元年。


AlexNet共有5个卷积层,3个全连接层,同时使用了一些工程上的技巧,比如利使用多GPU的训练,利用两个GPU并行地对特征进行分别的训练,可以尽可能地使用更多的特征图像,并且能够减少计算量。另外,AlexNet第一次使用了ReLU的激活函数,加快了模型的收敛;还使用了LRN的归一化,增强了模型的泛化能力;引用了dropout正则,防止模型的过拟合和收敛;使用了数据增强,比如裁剪、反转等,提高了模型的泛化能力。且上述技巧到目前为止依然在使用,因此,它是真正意义上的现代的神经网络。


2014年,业内提出了VGG,相比AlexNet,它堆叠了更多的卷积层和池化层,并且增加了模型深度。首次使用了3*3的小卷积核,此前多为5*5或7*7的大卷积核,且第一次提出了1*1的小卷积核,网络更简洁,深度达到19层。


2015年,业内提出了具有划时代意义的模型ResNet(深度残差网络)。此前,网络层之间直接通过x来求得输出F(x),但是ResNet从输入x到输出多了一个连接,网络层建模输入和输出的差值,称为残差,输出变为输入与残差之和,通过该方式解决了网络深度增加导致梯度消失的问题,将神经网络加得更深,进一步增强了网络的表达能力。ResNet可以将网络增加至1000+层。


后续,基于ResNet发展出了更高精度、高效的模型结构,包括移动端上的高效模型比如MobelNet系列等。


上图左侧展示了当前所有分类模型在ImageNet上的分类性能情况。从AlexNet开始,图像分类的性能逐年不断提升,且每年都有大量模型结构被提出,特别是近几年,SOTA模型一直在刷新分类的精度。


右侧展示了当前TOP10的模型。可以看出,当前TOP10的模型已经不是CNN模型,而是Transformer模型。这也意味着Transformer是当前模型的新趋势。


图像分类Transformer模型



2017年,谷歌在自然语言领域中首次提出了Transformer模型。2020年,Transformer开始在自研语言领域中广泛应用。2020年10月,ViT模型被提出,该模型是自然语言领域中的Transformer在计算机视觉上的第一次应用。


在此之后,业界基于Transformer提出了许多不同的模型结构,也不断地刷新着模型的精度。


Transformer模型中,最为核心的是自注意力。


自注意力的计算流程和原理如上图所示:


输入向量后,经过线性变换(如右图公式),输出Q、K、V,K和V矩阵做内积运算得到注意力。注意力除以,d指输入向量的维度。q的矩阵乘以k的矩阵的值大小与维度成正比,为了使训练更稳定,因此此处除以。加上位置编码之后求softmax。得到的结果再与v做内积计算,得到自注意力。


上述流程可以类比于查询数据库的过程,q是查询的向量,k是键值,v是要查询的数据。q矩阵和k矩阵做内积,衡量两个矩阵之间的相似程度。使用查询向量与键值做对比,对比的结果即数据的索引,通过索引查找数据所在位置。


上图左侧为自注意力的示意图像,每个输入q和k做内积之后乘以v得到自助力的输出。


右侧为多头自注意力示意图,将q、k和v分为多个头,本示例分为两个头,每个头的q、k和v分别做自注意力的计算,最后得到多头自注意力的输出。相比自注意力,多头自注意力的表达能力更强,因此目前一般使用多头注意力作为自注意力的计算。


下文将介绍几个比较经典的Transformer模型。


Vit(Vision Transformer)模型,首次提出使用Transformer进行分类,是第一个纯Transformer的视觉模型,没有任何卷积,在大规模数据集上进行训练的结果优于之前的所有CNN。


Transformer主要在自然语言领域中应用的,要求输入序列,那么ViT如何将图像转换为序列?


采用的方式为:将输入图像分块,每一块视为一个向量,所有向量合并成为序列,经过线性映射之后,加入分类的token和位置编码,经过Transformer encoder编码,再使用分类的token和NLP进行分类。NLP是两个全连接层,即分类器。Transformer encodeL个基本单元堆叠而成,基本单元中输入的token首先经过nomal layer,再经过多头的注意力计算,最后经由NLP输出。模型过程较简洁。


ViT的缺点在于,必须使用较大规模的数据集才能得到较好的结果。上图示例中使用了3亿张图像,使用谷歌的8核TPU训练了一个月才得到结果,成本较高。


为了解决上述缺陷,业界推出了DeiT模型,它是一种训练策略,使用蒸馏的方式,帮助Transformer更快地学习到局部的信息,大幅降低了ViT训练的数据量,仅需140多万张数据集,使用8卡的GPU训练2-3天即可。


训练过程与ViT大致相似,区别在于额外加入了蒸馏的token,计算loss时,蒸馏的token和teacher模型的预测标签计算蒸馏的交叉熵损失,再加上分类的交叉熵损失作为模型的总损失。


总的来说,DeiT模型大幅减少了训练的数据量和训练成本。


ViT的模型的计算量很大,复杂度为输入分辨率的二次方。在ViT模的模型中,会将输入划分为多个patch(小的窗口)。在进行多头自注意力计算时,任何patch都要与其他所有的patch做自注意力的计算。因此当patch的大小固定时,计算量便与图片分辨率的平方成正比,计算量非常大。


而Swin中采用了W-MSA的方式。首先,将输入的图像分为多个窗口,不同的窗口包含相同数量的patch,比如这相的patch,只针对window里面的patch进行多头的注意力计算。图片大小增加时,计算量只成线性的增长。


然而,该种方式下,同一window之间的patch可以相互交互,但是不同window之间的信息无法交互,会降低模型的性能。


为了解决上述问题,学术界推出了滑动窗口(shifted window)的方式,将窗口进行偏移。


但偏移之后会出现空缺,需要采用了cyclic shift的方法进行填补,比如将左二图中浅色ABC部分的数据迁移到了对应的深色ABC区域,然后对不同区域进行以掩码计算,得到新的窗口,再做自注意力的计算。通过这种方式提高了计算速度,也提高了模型的性能。


实践



本次实战将演示在私有数据集上对模型进行微调训练,生产定制化模型的过程。

详细教程请点击:


https://blog.csdn.net/tantanweiwei/article/details/130139458



首先,进入ModelScope官网,登录。


搜索ViT图像分类-中文-日常物品,进入模型详细页面。


详情页包含模型的基本介绍。自建1300类常见物体标签体系,覆盖常见的日用品,动物,植物,家具,设备,食物等物体,标签从海量中文互联网社区语料进行提取,保留了出现频率较高的常见物体名称。模型结构采用最新的ViT-Base结构。


另外,也可以在官网的文档中心-模型详解-计算机视觉模型中找到对应的模型文档。


推理使用的示例代码非常简单,除了引用依赖包,仅需两行代码即可调用模型进行分类任务的测试。


页面右上方提供了在线模型的体验,可视化了推理的过程。可以上传图片或直接使用示例的图片进行测试。结果如上图所示,排在结果第一位的是柴犬,后面数字表示概率。


另外,还可以在创空间进行分类结果的可视化体验。点击上方创空间快速可视化展示即可体验。


创空间界面如上图所示。上传图片即可体验。

点击右上角NoteBook快速开发,选择CPU或GPU环境启动。


点击笔记本,创建python文件。


返回模型页,复制模型训练相关代码


在详情页复制数据集加载相关代码,替换上图选中的部分代码。


修改配置参数,将分类的类别数改为14。


将工作目录修改为当前的根目录下的vit_base_flower目录。

开始进行训练。


训练完成的结果显示如上图,topone的精度是87.75,TOP5的精度是98.97。


训练完成后的工作目录如上图所示。log文件中保存了训练的日志,configuration文件中保存了配置相关信息。best_accuracy_top-1_epoch_1中保存了训练集上精度最好的模型权重,为了后续对模型进行评估,需要将该文件重命名为pytorch_model_pt。


返回模型详情页,复制模型评估相关代码。


复制详情页中的数据集加载相关代码(上图选中部分),替换原代码中“加载用于评估的数据集”部分代码,重新加载数据的校验集。


将model_id修改为工作目录下的vit_base_flower。本次训练的只进行校验,因此训练的数据集设为空,只需填入使用评估的数据集。


执行代码,开始进行评估。



结果如上图,与训练之后的评估完全一直,TOP1是87.75,TOP5是98.97,可正常用。

接下来进行模型推理。


复制详情页代码。



在工作目录下上传一张图片,修改图片路径和模型路径如上图。执行代码。


结果显示如上图,TOP1是向日葵。但top5的概率较为接近,说明训练不够充分。实际训练时,可以将epoch调大,学习率调小,以得到更优化的结果。



在模型页面右上角点击创建创空间,填写相关信息,创建创空间。


创建后的页面如上图所示。


复制上图中git clone代码,将前面训练好的权重与配置文件拷贝过来,上传到的modelscode模型的空间中。


上传完成后页面如上图。


点击右上角,添加版本号,即可使用模型。


接下来测试发布到ModelScope上的模型是否可用。


复制模型页面下的代码并对其进行修改。


代码中的模型ID修改为创建的模型ID(页面左上角),图片地址修改为根目录下的测试图片。


创建创空间时选择了非公开模型,因此此处需要对模型进行授权,代码如下:







from modelscope.hub.api import HubApi#YOUR_ACCESS_TOKEN ='请从ModelScope个人中心->访问令牌获取’#api= HubApi()#api.login(YOUR_ACCESS_TOKEN)



另外,因为设置了模型的版本,需要重新写版本。最终修改后的代码如上图。


结果显示如上图,证明模型可以正常使用。


回到创空间,打开空间文件下的readme文件,可以直接复制其他模型的readme文件(如上图右侧所示)进行修改后使用。


需要修改模型ID,在创建的模型名称下方复制即可。entry_file指文件入口,本示例中不使用GPU进行推理,因此是GPU为0。


执行代码也可以从其他创空间模型中复制后进行修改使用。新建一个app.py文件,将代码粘贴至文件中。首先需要修改授权码。回调函数为interface,输入的类型为图片,输出为label类型,显示top5的结果,设置默认测试图片的地址。


复制前文的推理代码并进行修改。


输入的类型是图像,因此需要将 result=image_classification()内的参数修改为img。


在空间文件里点击上传文件,将app.py文件上传至创空间。


在设置里点击上线创空间。


至此,创空间搭建完毕。页面如上图所示。


点击图片,提交后会显示结果。

 

其他模型的训练流程与本文示例基本一致,主要区别在于使用的数据集不同。所有数据、模型、代码均已开源,欢迎进入Modelscope官网搜索使用。

相关文章
|
8月前
|
机器学习/深度学习 算法 自动驾驶
使用机器学习进行图像分类的简介
在现代技术的发展中,图像处理和图像分类一直是一个热门的领域。随着机器学习的兴起,越来越多的人开始使用机器学习算法来解决图像分类问题。本文将介绍如何使用机器学习进行图像分类,并讨论其中的关键步骤和技术。
250 1
|
9天前
|
机器学习/深度学习 监控 算法
|
8月前
|
机器学习/深度学习 存储 人工智能
图像分类基础(二)
图像分类基础(二)
76 0
|
8月前
|
机器学习/深度学习 存储 数据采集
图像分类基础(一)
图像分类基础(一)
106 0
|
9月前
|
机器学习/深度学习 资源调度 数据挖掘
深度学习原理篇 第五章:YOLOv8
简要介绍yolov8的原理和代码实现。
1303 0
|
9月前
|
机器学习/深度学习 PyTorch 算法框架/工具
深度学习实践篇 第三章:模型与模型的搭建
主要介绍了pytorch中nn.Module()类和模型搭建
175 0
|
10月前
|
异构计算
|
10月前
|
机器学习/深度学习 数据库 计算机视觉
图像分类基础与实战
图像分类基础与实战(1)
|
10月前
|
机器学习/深度学习 编解码 自然语言处理
|
11月前
|
机器学习/深度学习 编解码 算法
卷积神经网络入门基础
卷积神经网络入门基础
72 0
卷积神经网络入门基础