MobileNet实战:tensorflow2.X版本,MobileNetV1图像分类任务(小数据集)

简介: 本例提取了植物幼苗数据集中的部分数据做数据集,数据集共有12种类别,今天我和大家一起实现tensorflow2.X版本图像分类任务,分类的模型使用MobileNet,其核心是采用了深度可分离卷积,其不仅可以降低模型计算复杂度,而且可以大大降低模型大小,本文使用的案例训练出来的模型只有38M,适合应用在真实的移动端应用场景。

# 摘要


本例提取了植物幼苗数据集中的部分数据做数据集,数据集共有12种类别,今天我和大家一起实现tensorflow2.X版本图像分类任务,分类的模型使用MobileNet,其核心是采用了深度可分离卷积,其不仅可以降低模型计算复杂度,而且可以大大降低模型大小,本文使用的案例训练出来的模型只有38M,适合应用在真实的移动端应用场景。


关于MobileNet的介绍可以看我以前的文章:https://wanghao.blog.csdn.net/article/details/122699618


通过这篇文章你可以学到:


1、如何加载图片数据,并处理数据。


2、如果将标签转为onehot编码


3、如何使用数据增强。


4、如何使用mixup。


5、如何切分数据集。


6、如何加载预训练模型。


# **训练**


## 1、Mixup


mixup是一种非常规的数据增强方法,一个和数据无关的简单数据增强原则,其以线性插值的方式来构建新的训练样本和标签。最终对标签的处理如下公式所示,这很简单但对于增强策略来说又很不一般。


![img](https://ucc.alicdn.com/images/user-upload-01/img_convert/fa5eb04f0b3d78d53402911ecdaef5b5.png)


$\left ( x_{i},y_{i} \right )$,$\left ( x_{j},y_{j} \right )$两个数据对是原始数据集中的训练样本对(训练样本和其对应的标签)。其中$\lambda$是一个服从B分布的参数,$\lambda\sim Beta\left ( \alpha ,\alpha \right )$ 。Beta分布的概率密度函数如下图所示,其中$\alpha \in \left [ 0,+\infty \right ]$


![img](https://ucc.alicdn.com/images/user-upload-01/img_convert/4c51f8f09b3b3dae8ad99b1caad88145.png)



因此$\alpha$是一个超参数,随着$\alpha$的增大,网络的训练误差就会增加,而其泛化能力会随之增强。而当$\alpha \rightarrow \infty$时,模型就会退化成最原始的训练策略。参考:https://www.jianshu.com/p/d22fcd86f36d


新建mixupgenerator.py,插入一下代码:


```python

import numpy as np



class MixupGenerator():

   def __init__(self, X_train, y_train, batch_size=32, alpha=0.2, shuffle=True, datagen=None):

       self.X_train = X_train

       self.y_train = y_train

       self.batch_size = batch_size

       self.alpha = alpha

       self.shuffle = shuffle

       self.sample_num = len(X_train)

       self.datagen = datagen


   def __call__(self):

       while True:

           indexes = self.__get_exploration_order()

           itr_num = int(len(indexes) // (self.batch_size * 2))


           for i in range(itr_num):

               batch_ids = indexes[i * self.batch_size * 2:(i + 1) * self.batch_size * 2]

               X, y = self.__data_generation(batch_ids)


               yield X, y


   def __get_exploration_order(self):

       indexes = np.arange(self.sample_num)


       if self.shuffle:

           np.random.shuffle(indexes)


       return indexes


   def __data_generation(self, batch_ids):

       _, h, w, c = self.X_train.shape

       l = np.random.beta(self.alpha, self.alpha, self.batch_size)

       X_l = l.reshape(self.batch_size, 1, 1, 1)

       y_l = l.reshape(self.batch_size, 1)


       X1 = self.X_train[batch_ids[:self.batch_size]]

       X2 = self.X_train[batch_ids[self.batch_size:]]

       X = X1 * X_l + X2 * (1 - X_l)


       if self.datagen:

           for i in range(self.batch_size):

               X[i] = self.datagen.random_transform(X[i])

               X[i] = self.datagen.standardize(X[i])


       if isinstance(self.y_train, list):

           y = []


           for y_train_ in self.y_train:

               y1 = y_train_[batch_ids[:self.batch_size]]

               y2 = y_train_[batch_ids[self.batch_size:]]

               y.append(y1 * y_l + y2 * (1 - y_l))

       else:

           y1 = self.y_train[batch_ids[:self.batch_size]]

           y2 = self.y_train[batch_ids[self.batch_size:]]

           y = y1 * y_l + y2 * (1 - y_l)


       return X, y

```




## **2、 导入需要的数据包,设置全局参数**


```Python

import numpy as np

from tensorflow.keras.optimizers import Adam

import numpy as np

from tensorflow.keras.optimizers import Adam

import cv2

from tensorflow.keras.preprocessing.image import img_to_array

from sklearn.model_selection import train_test_split

from tensorflow.python.keras.callbacks import ModelCheckpoint, ReduceLROnPlateau

from tensorflow.keras.applications.resnet import MobileNet

import os


from tensorflow.python.keras.utils import np_utils

from tensorflow.python.keras.layers import Dense

from tensorflow.python.keras.models import Sequential


from mixup_generator import MixupGenerator


norm_size = 224

datapath = 'data/train'

EPOCHS = 20

INIT_LR = 1e-3

labelList = []

dicClass = {'Black-grass': 0, 'Charlock': 1, 'Cleavers': 2, 'Common Chickweed': 3, 'Common wheat': 4, 'Fat Hen': 5, 'Loose Silky-bent': 6,

           'Maize': 7, 'Scentless Mayweed': 8, 'Shepherds Purse': 9, 'Small-flowered Cranesbill': 10, 'Sugar beet': 11}

classnum = 12

batch_size = 16


```


这里可以看出tensorflow2.0以上的版本集成了Keras,我们在使用的时候就不必单独安装Keras了,以前的代码升级到tensorflow2.0以上的版本将keras前面加上tensorflow即可。


tensorflow说完了,再说明一下几个重要的全局参数:


- norm_size = 224 ,MobileNet默认的图片尺寸是224×224。


- datapath = 'data/train' 设置图片存放的路径,在这里要说明一下如果图片很多,一定不要放在工程目录下,否则Pycharm加载工程的时候会浏览所有的图片,很慢很慢。


-  EPOCHS = 100 epochs的数量,关于epoch的设置多少合适,这个问题很纠结,一般情况设置300足够了,如果感觉没有训练好,再载入模型训练。


-  INIT_LR = 1e-3 学习率,一般情况从0.001开始逐渐降低,也别太小了到1e-6就可以了。


-  classnum = 12 类别数量,数据集有12个类别,所有就定义12类。


-  batch_size = 16,batchsize,根据硬件的情况和数据集的大小设置,太小了loss浮动太大,太大了收敛不好,根据经验来,一般设置为2的次方。windows可以通过任务管理器查看显存的占用情况。


  ![image-20220126135414054](https://ucc.alicdn.com/images/user-upload-01/img_convert/504e7a74addcdf9ef013c427af1a1aba.png)


  Ubuntu可以使用nvidia-smi查看显存的占用。


  ![image-20220120064407104](https://ucc.alicdn.com/images/user-upload-01/img_convert/b65e8e78c4b6e03460adaf7c888ea0dc.png)


## 3、 加载图片


处理图像的步骤:


1. 读取图像

2. 用指定的大小去resize图像。

3. 将图像转为数组

4. 图像归一化

5. 标签onehot


具体做法详见代码:


```Python

def loadImageData():

   imageList = []

   listClasses = os.listdir(datapath)# 类别文件夹

   print(listClasses)

   for class_name in listClasses:

       label_id = dicClass[class_name]

       class_path=os.path.join(datapath,class_name)

       image_names=os.listdir(class_path)

       for image_name in image_names:

           image_full_path = os.path.join(class_path, image_name)

           labelList.append(label_id)

           image = cv2.imdecode(np.fromfile(image_full_path, dtype=np.uint8), -1)

           image = cv2.resize(image, (norm_size, norm_size), interpolation=cv2.INTER_LANCZOS4)

           if image.shape[2] >3:

               image=image[:,:,:3]

               print(image.shape)

           image = img_to_array(image)

           imageList.append(image)

   imageList = np.array(imageList) / 255.0

   return imageList



print("开始加载数据")

imageArr = loadImageData()

print(type(imageArr))

labelList = np.array(labelList)

print("加载数据完成")

print(labelList)

labelList = np_utils.to_categorical(labelList, classnum)

print(labelList)

```


做好数据之后,我们需要切分训练集和测试集,一般按照4:1或者7:3的比例来切分。切分数据集使用train_test_split()方法,需要导入from sklearn.model_selection import train_test_split 包。例:


```Python

trainX, valX, trainY, valY = train_test_split(imageArr, labelList, test_size=0.2, random_state=42)

```




## 4、图像增强


ImageDataGenerator()是keras.preprocessing.image模块中的图片生成器,同时也可以在batch中对数据进行增强,扩充数据集大小,增强模型的泛化能力。比如进行旋转,变形,归一化等等。


```python

keras.preprocessing.image.ImageDataGenerator(featurewise_center=False,samplewise_center

=False, featurewise_std_normalization=False, samplewise_std_normalization=False,zca_whitening=False,

zca_epsilon=1e-06, rotation_range=0.0, width_shift_range=0.0, height_shift_range=0.0,brightness_range=None, shear_range=0.0, zoom_range=0.0,channel_shift_range=0.0, fill_mode='nearest', cval=0.0, horizontal_flip=False, vertical_flip=False, rescale=None, preprocessing_function=None,data_format=None,validation_split=0.0)

```


>参数:

>

>- featurewise_center: Boolean. 对输入的图片每个通道减去每个通道对应均值。

>- samplewise_center: Boolan. 每张图片减去样本均值, 使得每个样本均值为0。

>- featurewise_std_normalization(): Boolean()

>- samplewise_std_normalization(): Boolean()

>- zca_epsilon(): Default 12-6

>- zca_whitening: Boolean. 去除样本之间的相关性

>- rotation_range(): 旋转范围

>- width_shift_range(): 水平平移范围

>- height_shift_range(): 垂直平移范围

>- shear_range(): float, 透视变换的范围

>- zoom_range(): 缩放范围

>- fill_mode: 填充模式, constant, nearest, reflect

>- cval: fill_mode == 'constant'的时候填充值

>- horizontal_flip(): 水平反转

>- vertical_flip(): 垂直翻转

>- preprocessing_function(): user提供的处理函数

>- data_format(): channels_first或者channels_last

>- validation_split(): 多少数据用于验证集


本例使用的图像增强代码如下:


```Python

from tensorflow.keras.preprocessing.image import ImageDataGenerator


train_datagen = ImageDataGenerator(

                                  rotation_range=20,

                                  width_shift_range=0.2,

                                  height_shift_range=0.2,

                                  horizontal_flip=True)

val_datagen = ImageDataGenerator()  # 验证集不做图片增强

training_generator_mix = MixupGenerator(trainX, trainY, batch_size=batch_size, alpha=0.2, datagen=train_datagen)()

val_generator = val_datagen.flow(valX, valY, batch_size=batch_size, shuffle=True)

```




## 5、 保留最好的模型和动态设置学习率


**ModelCheckpoint:用来保存成绩最好的模型。**


语法如下:


```Python

keras.callbacks.ModelCheckpoint(filepath, monitor='val_loss', verbose=0, save_best_only=False, save_weights_only=False, mode='auto', period=1)

```


该回调函数将在每个epoch后保存模型到filepath


filepath可以是格式化的字符串,里面的占位符将会被epoch值和传入on_epoch_end的logs关键字所填入


例如,filepath若为weights.{epoch:02d-{val_loss:.2f}}.hdf5,则会生成对应epoch和验证集loss的多个文件。


>**参数**

>

>- filename:字符串,保存模型的路径

>- monitor:需要监视的值

>- verbose:信息展示模式,0或1

>- save_best_only:当设置为True时,将只保存在验证集上性能最好的模型

>- mode:‘auto’,‘min’,‘max’之一,在save_best_only=True时决定性能最佳模型的评判准则,例如,当监测值为val_acc时,模式应为max,当检测值为val_loss时,模式应为min。在auto模式下,评价准则由被监测值的名字自动推断。

>- save_weights_only:若设置为True,则只保存模型权重,否则将保存整个模型(包括模型结构,配置信息等)

>- period:CheckPoint之间的间隔的epoch数


**ReduceLROnPlateau:当评价指标不在提升时,减少学习率,语法如下:**


```Python

keras.callbacks.ReduceLROnPlateau(monitor='val_loss', factor=0.1, patience=10, verbose=0, mode='auto', epsilon=0.0001, cooldown=0, min_lr=0)

```


当学习停滞时,减少2倍或10倍的学习率常常能获得较好的效果。该回调函数检测指标的情况,如果在patience个epoch中看不到模型性能提升,则减少学习率


>**参数**

>

>- monitor:被监测的量

>- factor:每次减少学习率的因子,学习率将以lr = lr*factor的形式被减少

>- patience:当patience个epoch过去而模型性能不提升时,学习率减少的动作会被触发

>- mode:‘auto’,‘min’,‘max’之一,在min模式下,如果检测值触发学习率减少。在max模式下,当检测值不再上升则触发学习率减少。

>- epsilon:阈值,用来确定是否进入检测值的“平原区”

>- cooldown:学习率减少后,会经过cooldown个epoch才重新进行正常操作

>- min_lr:学习率的下限


本例代码如下:


```Python

checkpointer = ModelCheckpoint(filepath='best_model.hdf5',

                              monitor='val_accuracy', verbose=1, save_best_only=True, mode='max')


reduce = ReduceLROnPlateau(monitor='val_accuracy', patience=10,

                          verbose=1,

                          factor=0.5,

                          min_lr=1e-6)

```




## 6、建立模型并训练


```Python

model = Sequential()

model.add(MobileNet(include_top=False, pooling='avg', weights='imagenet'))

model.add(Dense(classnum, activation='softmax'))

model.summary()

optimizer = Adam(learning_rate=INIT_LR)

model.compile(optimizer=optimizer, loss='categorical_crossentropy', metrics=['accuracy'])


history = model.fit(training_generator_mix,

                             steps_per_epoch=trainX.shape[0] / batch_size,

                             validation_data=val_generator,

                             epochs=EPOCHS,

                             validation_steps=valX.shape[0] / batch_size,

                             callbacks=[checkpointer, reduce])

model.save('my_model.h5')

print(history)

```


运行结果:


随着训练次数的增加,准确率已经过达到了0.97。


![image-20220126142929491](https://ucc.alicdn.com/images/user-upload-01/img_convert/f09e02645be44f54d23c1eafe89c64e5.png)


## 7、保留训练结果,并将其生成图片


```Python

loss_trend_graph_path = r"WW_loss.jpg"

acc_trend_graph_path = r"WW_acc.jpg"

import matplotlib.pyplot as plt


print("Now,we start drawing the loss and acc trends graph...")

# summarize history for accuracy

fig = plt.figure(1)

plt.plot(history.history["accuracy"])

plt.plot(history.history["val_accuracy"])

plt.title("Model accuracy")

plt.ylabel("accuracy")

plt.xlabel("epoch")

plt.legend(["train", "test"], loc="upper left")

plt.savefig(acc_trend_graph_path)

plt.close(1)

# summarize history for loss

fig = plt.figure(2)

plt.plot(history.history["loss"])

plt.plot(history.history["val_loss"])

plt.title("Model loss")

plt.ylabel("loss")

plt.xlabel("epoch")

plt.legend(["train", "test"], loc="upper left")

plt.savefig(loss_trend_graph_path)

plt.close(2)

print("We are done, everything seems OK...")

# #windows系统设置10关机

#os.system("shutdown -s -t 10")

```


结果:


<div>

   <img src="https://gitee.com/wanghao1090220084/cloud-image/raw/master/image-20220126140904921.png" alt="WW_acc" style="zoom:50%;" />

   <img src="https://gitee.com/wanghao1090220084/cloud-image/raw/master/WW_loss.jpg" alt="WW_loss" style="zoom:50%;" />

</div>



# 测试部分


## 单张图片预测


### 1、导入依赖


```python

import cv2

import numpy as np

from tensorflow.keras.preprocessing.image import img_to_array

from  tensorflow.keras.models import load_model

import time

```


### 2、设置全局参数


这里注意,字典的顺序和训练时的顺序保持一致


```Python

norm_size=224

imagelist=[]

emotion_labels = {

   0: 'Black-grass',

   1: 'Charlock',

   2: 'Cleavers',

   3: 'Common Chickweed',

   4: 'Common wheat',

   5: 'Fat Hen',

   6: 'Loose Silky-bent',

   7: 'Maize',

   8: 'Scentless Mayweed',

   9: 'Shepherds Purse',

   10: 'Small-flowered Cranesbill',

   11: 'Sugar beet',

}

```


### 3、加载模型


```

emotion_classifier=load_model("best_model.hdf5")

t1=time.time()

```


#### 4、处理图片


处理图片的逻辑和训练集也类似,步骤:


- 读取图片

- 将图片resize为norm_size×norm_size大小。

- 将图片转为数组。

- 放到imagelist中。

- imagelist整体除以255,把数值缩放到0到1之间。


```python

image = cv2.imdecode(np.fromfile('data/test/0a64e3e6c.png', dtype=np.uint8), -1)

# load the image, pre-process it, and store it in the data list

image = cv2.resize(image, (norm_size, norm_size), interpolation=cv2.INTER_LANCZOS4)

image = img_to_array(image)

imagelist.append(image)

imageList = np.array(imagelist, dtype="float") / 255.0

```


### 5、预测类别


预测类别,并获取最高类别的index。


```Python

out=emotion_classifier.predict(imageList)

print(out)

pre=np.argmax(out)

emotion = emotion_labels[pre]

t2=time.time()

print(emotion)

t3=t2-t1

print(t3)

```


运行结果:


>[[1.7556800e-03 8.5450716e-07 1.9150861e-05 1.9705877e-07 9.9732012e-01

>8.0649025e-04 2.5912817e-07 2.2540871e-06 8.6973196e-05 6.1359890e-07

>4.1976641e-08 7.3218480e-06]]

>Common wheat

>3.50178861618042


## 批量预测


批量预测和单张预测的差别主要在读取数据上,以及预测完成后,对预测类别的处理。其他的没有变化。


步骤:


- 加载模型。

- 定义测试集的目录

- 获取目录下的图片

- 循环循环图片

 - 读取图片

 - resize图片

 - 转数组

 - 放到imageList中

- 缩放到0到255.

- 预测


```Python

emotion_classifier=load_model("best_model.hdf5")

t1=time.time()

predict_dir = 'data/test'

test11 = os.listdir(predict_dir)

for file in test11:

   filepath=os.path.join(predict_dir,file)


   image = cv2.imdecode(np.fromfile(filepath, dtype=np.uint8), -1)

   # load the image, pre-process it, and store it in the data list

   image = cv2.resize(image, (norm_size, norm_size), interpolation=cv2.INTER_LANCZOS4)

   image = img_to_array(image)

   imagelist.append(image)

imageList = np.array(imagelist, dtype="float") / 255.0

out = emotion_classifier.predict(imageList)

print(out)

pre = [np.argmax(i) for i in out]

```


运行结果:


![image-20220121133830021](https://ucc.alicdn.com/images/user-upload-01/img_convert/f2d8f0d76f3004af447bedb3714bddd7.png)

完整代码:

https://download.csdn.net/download/hhhhhhhhhhwwwwwwwwww/77990831

目录
相关文章
|
11天前
|
机器学习/深度学习 TensorFlow API
TensorFlow与Keras实战:构建深度学习模型
本文探讨了TensorFlow和其高级API Keras在深度学习中的应用。TensorFlow是Google开发的高性能开源框架,支持分布式计算,而Keras以其用户友好和模块化设计简化了神经网络构建。通过一个手写数字识别的实战案例,展示了如何使用Keras加载MNIST数据集、构建CNN模型、训练及评估模型,并进行预测。案例详述了数据预处理、模型构建、训练过程和预测新图像的步骤,为读者提供TensorFlow和Keras的基础实践指导。
144 59
|
25天前
|
机器学习/深度学习 自然语言处理 TensorFlow
TensorFlow 实战(八)(5)
TensorFlow 实战(八)
25 0
|
25天前
|
数据可视化 TensorFlow 算法框架/工具
TensorFlow 实战(八)(4)
TensorFlow 实战(八)
25 1
|
25天前
|
TensorFlow API 算法框架/工具
TensorFlow 实战(八)(3)
TensorFlow 实战(八)
25 1
|
18小时前
|
机器学习/深度学习 人工智能 算法
【昆虫识别系统】图像识别Python+卷积神经网络算法+人工智能+深度学习+机器学习+TensorFlow+ResNet50
昆虫识别系统,使用Python作为主要开发语言。通过TensorFlow搭建ResNet50卷积神经网络算法(CNN)模型。通过对10种常见的昆虫图片数据集('蜜蜂', '甲虫', '蝴蝶', '蝉', '蜻蜓', '蚱蜢', '蛾', '蝎子', '蜗牛', '蜘蛛')进行训练,得到一个识别精度较高的H5格式模型文件,然后使用Django搭建Web网页端可视化操作界面,实现用户上传一张昆虫图片识别其名称。
20 7
【昆虫识别系统】图像识别Python+卷积神经网络算法+人工智能+深度学习+机器学习+TensorFlow+ResNet50
|
1天前
|
机器学习/深度学习 人工智能 算法
【球类识别系统】图像识别Python+卷积神经网络算法+人工智能+深度学习+TensorFlow
球类识别系统,本系统使用Python作为主要编程语言,基于TensorFlow搭建ResNet50卷积神经网络算法模型,通过收集 '美式足球', '棒球', '篮球', '台球', '保龄球', '板球', '足球', '高尔夫球', '曲棍球', '冰球', '橄榄球', '羽毛球', '乒乓球', '网球', '排球'等15种常见的球类图像作为数据集,然后进行训练,最终得到一个识别精度较高的模型文件。再使用Django开发Web网页端可视化界面平台,实现用户上传一张球类图片识别其名称。
16 7
【球类识别系统】图像识别Python+卷积神经网络算法+人工智能+深度学习+TensorFlow
|
3天前
|
机器学习/深度学习 人工智能 TensorFlow
TensorFlow 是一个由 Google 开发的开源深度学习框架
TensorFlow 是一个由 Google 开发的开源深度学习框架
18 3
|
16天前
|
机器学习/深度学习 自然语言处理 TensorFlow
TensorFlow:深度学习框架的领航者
**TensorFlow**是谷歌开源的机器学习框架,用于深度学习和大规模数据处理。它以数据流图为基础,支持分布式计算,提供高效、灵活且可扩展的环境。自2015年以来,经过多次升级,包括引入Eager Execution,提升了开发效率。TensorFlow广泛应用于图像识别、自然语言处理、推荐系统和语音识别等领域,其丰富的API和工具简化了模型构建,促进了深度学习的发展。【6月更文挑战第5天】
49 9
|
20天前
|
机器学习/深度学习 算法 TensorFlow
【图像识别】谷物识别系统Python+人工智能深度学习+TensorFlow+卷积算法网络模型+图像识别
谷物识别系统,本系统使用Python作为主要编程语言,通过TensorFlow搭建ResNet50卷积神经算法网络模型,通过对11种谷物图片数据集('大米', '小米', '燕麦', '玉米渣', '红豆', '绿豆', '花生仁', '荞麦', '黄豆', '黑米', '黑豆')进行训练,得到一个进度较高的H5格式的模型文件。然后使用Django框架搭建了一个Web网页端可视化操作界面。实现用户上传一张图片识别其名称。
57 0
【图像识别】谷物识别系统Python+人工智能深度学习+TensorFlow+卷积算法网络模型+图像识别
|
24天前
|
机器学习/深度学习 人工智能 算法
中草药识别系统Python+深度学习人工智能+TensorFlow+卷积神经网络算法模型
中草药识别系统Python+深度学习人工智能+TensorFlow+卷积神经网络算法模型
63 0

热门文章

最新文章