ResNet实战:tensorflow2.0以上版本,使用ResNet50实现图像分类任务

简介: ResNet实战:tensorflow2.0以上版本,使用ResNet50实现图像分类任务

目录


摘要


训练


第一步 导入需要的数据包,设置全局参数


第二步 加载图片


第三步 图像增强


第四步 保留最好的模型和动态设置学习率


第五步 建立模型并训练


第六步 保留训练结果,并将其生成图片


完整代码:


摘要

本例提取了猫狗大战数据集中的部分数据做数据集,演示tensorflow2.0以上的版本如何使用Keras实现图像分类,分类的模型使用ResNet50。


训练

第一步 导入需要的数据包,设置全局参数

import numpy as np

from tensorflow.keras.optimizers import Adam

import cv2

from tensorflow.keras.preprocessing.image import img_to_array

from sklearn.model_selection import train_test_split

from tensorflow.python.keras.callbacks import ModelCheckpoint, ReduceLROnPlateau

from tensorflow.keras.applications.resnet import ResNet50

import os

from  tensorflow.keras.models import load_model

这里可以看出tensorflow2.0以上的版本集成了Keras,我们在使用的时候就不必单独安装Keras了,以前的代码升级到tensorflow2.0以上的版本将keras前面加上tensorflow即可。tensorflow说完了,再说明一下几个重要的全局参数

norm_size = 100 设置输入图像的大小,图像的大小根据自己的需求设置,别太大,够用就行了。


datapath = 'data/train' 设置图片存放的路径,在这里要说明一下如果图片很多,一定不要放在工程目录下,否则Pycharm加载工程的时候会浏览所有的图片,很慢很慢。

EPOCHS = 100 epochs的数量,关于epoch的设置多少合适,这个问题很纠结,一般情况设置300足够了,如果感觉没有训练好,再载入模型训练。

INIT_LR = 1e-3 学习率,一般情况从0.001开始逐渐降低,也别太小了到1e-6就可以了。

classnum = 2 类别数量,数据集有两个类别,所有就分为两类。

batch_size = 16 batchsize,根据硬件的情况和数据集的大小设置,太小了抖的厉害,太大了收敛不好,根据经验来,一般设置为2的次方。


第二步 加载图片

处理图像的步骤:


读取图像

用指定的大小去resize图像。

将图像转为数组

图像归一化

标签onehot(标签要不要做onehot和选用的loss函数有关,本例选用的loss可以直接处理标签,所以不用onehot)

具体做法详见代码:


labelList = []


dicClass = {'cat': 0, 'dog': 1}


def loadImageData():


   imageList = []


   listImage = os.listdir(datapath)


   for img in listImage:


       labelName = dicClass[img.split('.')[0]]


       print(labelName)


       labelList.append(labelName)


       dataImgPath = os.path.join(datapath, img)


       print(dataImgPath)


       image = cv2.imdecode(np.fromfile(dataImgPath, dtype=np.uint8), -1)


       image = cv2.resize(image, (norm_size, norm_size), interpolation=cv2.INTER_LANCZOS4)


       image = img_to_array(image)


       imageList.append(image)


   imageList = np.array(imageList, dtype="int") / 255.0


   return imageList


print("开始加载数据")


imageArr = loadImageData()


labelList = np.array(labelList)


print("加载数据完成")


做好数据之后,我们需要切分训练集和测试集,一般按照4:1的比例来切分。切分数据集使用train_test_split()方法,需要导入from sklearn.model_selection import train_test_split 包。例:


trainX, valX, trainY, valY = train_test_split(imageArr, labelList, test_size=0.2, random_state=42)


第三步 图像增强

ImageDataGenerator()是keras.preprocessing.image模块中的图片生成器,同时也可以在batch中对数据进行增强,扩充数据集大小,增强模型的泛化能力。比如进行旋转,变形,归一化等等。


keras.preprocessing.image.ImageDataGenerator(featurewise_center=False,samplewise_center

=False, featurewise_std_normalization=False, samplewise_std_normalization=False,zca_whitening=False,

zca_epsilon=1e-06, rotation_range=0.0, width_shift_range=0.0, height_shift_range=0.0,brightness_range=None, shear_range=0.0, zoom_range=0.0,channel_shift_range=0.0, fill_mode='nearest', cval=0.0, horizontal_flip=False, vertical_flip=False, rescale=None, preprocessing_function=None,data_format=None,validation_split=0.0)


参数:


featurewise_center: Boolean. 对输入的图片每个通道减去每个通道对应均值。

samplewise_center: Boolan. 每张图片减去样本均值, 使得每个样本均值为0。

featurewise_std_normalization(): Boolean()

samplewise_std_normalization(): Boolean()

zca_epsilon(): Default 12-6

zca_whitening: Boolean. 去除样本之间的相关性

rotation_range(): 旋转范围

width_shift_range(): 水平平移范围

height_shift_range(): 垂直平移范围

shear_range(): float, 透视变换的范围

zoom_range(): 缩放范围

fill_mode: 填充模式, constant, nearest, reflect

cval: fill_mode == 'constant'的时候填充值

horizontal_flip(): 水平反转

vertical_flip(): 垂直翻转

preprocessing_function(): user提供的处理函数

data_format(): channels_first或者channels_last

validation_split(): 多少数据用于验证集

本例使用的图像增强代码如下:


train_datagen = ImageDataGenerator(featurewise_center=True,

                                  featurewise_std_normalization=True,

                                  rotation_range=20,

                                  width_shift_range=0.2,

                                  height_shift_range=0.2,

                                  horizontal_flip=True)

val_datagen = ImageDataGenerator()  # 验证集不做图片增强

train_generator = train_datagen.flow(trainX, trainY, batch_size=batch_size, shuffle=True)

val_generator = val_datagen.flow(valX, valY, batch_size=batch_size, shuffle=True)


第四步 保留最好的模型和动态设置学习率

ModelCheckpoint用来保存成绩最好的模型。


语法如下:


keras.callbacks.ModelCheckpoint(filepath, monitor='val_loss', verbose=0, save_best_only=False, save_weights_only=False, mode='auto', period=1)


该回调函数将在每个epoch后保存模型到filepath


filepath可以是格式化的字符串,里面的占位符将会被epoch值和传入on_epoch_end的logs关键字所填入


例如,filepath若为weights.{epoch:02d-{val_loss:.2f}}.hdf5,则会生成对应epoch和验证集loss的多个文件。


参数


filename:字符串,保存模型的路径

monitor:需要监视的值

verbose:信息展示模式,0或1

save_best_only:当设置为True时,将只保存在验证集上性能最好的模型

mode:‘auto’,‘min’,‘max’之一,在save_best_only=True时决定性能最佳模型的评判准则,例如,当监测值为val_acc时,模式应为max,当检测值为val_loss时,模式应为min。在auto模式下,评价准则由被监测值的名字自动推断。

save_weights_only:若设置为True,则只保存模型权重,否则将保存整个模型(包括模型结构,配置信息等)

period:CheckPoint之间的间隔的epoch数

ReduceLROnPlateau当评价指标不在提升时,减少学习率,语法如下:


keras.callbacks.ReduceLROnPlateau(monitor='val_loss', factor=0.1, patience=10, verbose=0, mode='auto', epsilon=0.0001, cooldown=0, min_lr=0)


当学习停滞时,减少2倍或10倍的学习率常常能获得较好的效果。该回调函数检测指标的情况,如果在patience个epoch中看不到模型性能提升,则减少学习率


参数


monitor:被监测的量

factor:每次减少学习率的因子,学习率将以lr = lr*factor的形式被减少

patience:当patience个epoch过去而模型性能不提升时,学习率减少的动作会被触发

mode:‘auto’,‘min’,‘max’之一,在min模式下,如果检测值触发学习率减少。在max模式下,当检测值不再上升则触发学习率减少。

epsilon:阈值,用来确定是否进入检测值的“平原区”

cooldown:学习率减少后,会经过cooldown个epoch才重新进行正常操作

min_lr:学习率的下限

本例代码如下:


checkpointer = ModelCheckpoint(filepath='weights_best_Reset50_model.hdf5',


                              monitor='val_accuracy', verbose=1, save_best_only=True, mode='max')



reduce = ReduceLROnPlateau(monitor='val_accuracy', patience=10,


                          verbose=1,


                          factor=0.5,


                          min_lr=1e-6)


第五步 建立模型并训练

model = ResNet50(weights=None, classes=classnum)

optimizer = Adam(lr=INIT_LR)

model.compile(optimizer=optimizer, loss='sparse_categorical_crossentropy', metrics=['accuracy'])

model=load_model("my_model_resnet.h5")

history = model.fit_generator(train_generator,

                             steps_per_epoch=trainX.shape[0] / batch_size,

                             validation_data=val_generator,

                             epochs=EPOCHS,

                             validation_steps=valX.shape[0] / batch_size,

                             callbacks=[checkpointer, reduce],

                             verbose=1, shuffle=True)

model.save('my_model_resnet.h5')


第六步 保留训练结果,并将其生成图片

loss_trend_graph_path = r"WW_loss.jpg"


acc_trend_graph_path = r"WW_acc.jpg"


import matplotlib.pyplot as plt



print("Now,we start drawing the loss and acc trends graph...")


# summarize history for accuracy


fig = plt.figure(1)


plt.plot(history.history["accuracy"])


plt.plot(history.history["val_accuracy"])


plt.title("Model accuracy")


plt.ylabel("accuracy")


plt.xlabel("epoch")


plt.legend(["train", "test"], loc="upper left")


plt.savefig(acc_trend_graph_path)


plt.close(1)


# summarize history for loss


fig = plt.figure(2)


plt.plot(history.history["loss"])


plt.plot(history.history["val_loss"])


plt.title("Model loss")


plt.ylabel("loss")


plt.xlabel("epoch")


plt.legend(["train", "test"], loc="upper left")


plt.savefig(loss_trend_graph_path)


plt.close(2)


完整代码:



import numpy as np

from tensorflow.keras.optimizers import Adam

import cv2

from tensorflow.keras.preprocessing.image import img_to_array

from sklearn.model_selection import train_test_split

from tensorflow.python.keras.callbacks import ModelCheckpoint, ReduceLROnPlateau

from tensorflow.keras.applications.resnet import ResNet50

import os

from  tensorflow.keras.models import load_model

norm_size = 100

datapath = 'data/train'

EPOCHS = 100

INIT_LR = 1e-3

labelList = []

dicClass = {'cat': 0, 'dog': 1}

classnum = 2

batch_size = 16

def loadImageData():

   imageList = []

   listImage = os.listdir(datapath)

   for img in listImage:

       labelName = dicClass[img.split('.')[0]]

       print(labelName)

       labelList.append(labelName)

       dataImgPath = os.path.join(datapath, img)

       print(dataImgPath)

       image = cv2.imdecode(np.fromfile(dataImgPath, dtype=np.uint8), -1)

       image = cv2.resize(image, (norm_size, norm_size), interpolation=cv2.INTER_LANCZOS4)

       image = img_to_array(image)

       imageList.append(image)

   imageList = np.array(imageList, dtype="int") / 255.0

   return imageList

print("开始加载数据")

imageArr = loadImageData()

labelList = np.array(labelList)

print("加载数据完成")

print(labelList)

trainX, valX, trainY, valY = train_test_split(imageArr, labelList, test_size=0.2, random_state=42)

from tensorflow.keras.preprocessing.image import ImageDataGenerator

train_datagen = ImageDataGenerator(featurewise_center=True,

                                  featurewise_std_normalization=True,

                                  rotation_range=20,

                                  width_shift_range=0.2,

                                  height_shift_range=0.2,

                                  horizontal_flip=True)

val_datagen = ImageDataGenerator()  # 验证集不做图片增强

train_generator = train_datagen.flow(trainX, trainY, batch_size=batch_size, shuffle=True)

val_generator = val_datagen.flow(valX, valY, batch_size=batch_size, shuffle=True)

checkpointer = ModelCheckpoint(filepath='weights_best_Reset50_model.hdf5',

                              monitor='val_accuracy', verbose=1, save_best_only=True, mode='max')

reduce = ReduceLROnPlateau(monitor='val_accuracy', patience=10,

                          verbose=1,

                          factor=0.5,

                          min_lr=1e-6)

model = ResNet50(weights=None, classes=classnum)

optimizer = Adam(lr=INIT_LR)

model.compile(optimizer=optimizer, loss='sparse_categorical_crossentropy', metrics=['accuracy'])

model=load_model("my_model_resnet.h5")

history = model.fit_generator(train_generator,

                             steps_per_epoch=trainX.shape[0] / batch_size,

                             validation_data=val_generator,

                             epochs=EPOCHS,

                             validation_steps=valX.shape[0] / batch_size,

                             callbacks=[checkpointer, reduce],

                             verbose=1, shuffle=True)

model.save('my_model_resnet.h5')

print(history)

loss_trend_graph_path = r"WW_loss.jpg"

acc_trend_graph_path = r"WW_acc.jpg"

import matplotlib.pyplot as plt

print("Now,we start drawing the loss and acc trends graph...")

# summarize history for accuracy

fig = plt.figure(1)

plt.plot(history.history["accuracy"])

plt.plot(history.history["val_accuracy"])

plt.title("Model accuracy")

plt.ylabel("accuracy")

plt.xlabel("epoch")

plt.legend(["train", "test"], loc="upper left")

plt.savefig(acc_trend_graph_path)

plt.close(1)

# summarize history for loss

fig = plt.figure(2)

plt.plot(history.history["loss"])

plt.plot(history.history["val_loss"])

plt.title("Model loss")

plt.ylabel("loss")

plt.xlabel("epoch")

plt.legend(["train", "test"], loc="upper left")

plt.savefig(loss_trend_graph_path)

plt.close(2)

print("We are done, everything seems OK...")

# #windows系统设置10关机

os.system("shutdown -s -t 10")

 


目录
相关文章
|
1月前
|
数据采集 TensorFlow 算法框架/工具
【大作业-03】手把手教你用tensorflow2.3训练自己的分类数据集
本教程详细介绍了如何使用TensorFlow 2.3训练自定义图像分类数据集,涵盖数据集收集、整理、划分及模型训练与测试全过程。提供完整代码示例及图形界面应用开发指导,适合初学者快速上手。[教程链接](https://www.bilibili.com/video/BV1rX4y1A7N8/),配套视频更易理解。
39 0
【大作业-03】手把手教你用tensorflow2.3训练自己的分类数据集
|
10天前
|
机器学习/深度学习 TensorFlow 算法框架/工具
利用Python和TensorFlow构建简单神经网络进行图像分类
利用Python和TensorFlow构建简单神经网络进行图像分类
29 3
|
16天前
|
机器学习/深度学习 TensorFlow API
机器学习实战:TensorFlow在图像识别中的应用探索
【10月更文挑战第28天】随着深度学习技术的发展,图像识别取得了显著进步。TensorFlow作为Google开源的机器学习框架,凭借其强大的功能和灵活的API,在图像识别任务中广泛应用。本文通过实战案例,探讨TensorFlow在图像识别中的优势与挑战,展示如何使用TensorFlow构建和训练卷积神经网络(CNN),并评估模型的性能。尽管面临学习曲线和资源消耗等挑战,TensorFlow仍展现出广阔的应用前景。
43 5
|
26天前
|
机器学习/深度学习 数据可视化 TensorFlow
使用TensorFlow构建一个简单的图像分类模型
【10月更文挑战第18天】使用TensorFlow构建一个简单的图像分类模型
48 1
|
1月前
|
机器学习/深度学习 TensorFlow API
使用 TensorFlow 和 Keras 构建图像分类器
【10月更文挑战第2天】使用 TensorFlow 和 Keras 构建图像分类器
|
3月前
|
机器学习/深度学习 存储 前端开发
实战揭秘:如何借助TensorFlow.js的强大力量,轻松将高效能的机器学习模型无缝集成到Web浏览器中,从而打造智能化的前端应用并优化用户体验
【8月更文挑战第31天】将机器学习模型集成到Web应用中,可让用户在浏览器内体验智能化功能。TensorFlow.js作为在客户端浏览器中运行的库,提供了强大支持。本文通过问答形式详细介绍如何使用TensorFlow.js将机器学习模型带入Web浏览器,并通过具体示例代码展示最佳实践。首先,需在HTML文件中引入TensorFlow.js库;接着,可通过加载预训练模型如MobileNet实现图像分类;然后,编写代码处理图像识别并显示结果;此外,还介绍了如何训练自定义模型及优化模型性能的方法,包括模型量化、剪枝和压缩等。
51 1
|
2月前
|
机器学习/深度学习 数据挖掘 TensorFlow
解锁Python数据分析新技能,TensorFlow&PyTorch双引擎驱动深度学习实战盛宴
在数据驱动时代,Python凭借简洁的语法和强大的库支持,成为数据分析与机器学习的首选语言。Pandas和NumPy是Python数据分析的基础,前者提供高效的数据处理工具,后者则支持科学计算。TensorFlow与PyTorch作为深度学习领域的两大框架,助力数据科学家构建复杂神经网络,挖掘数据深层价值。通过Python打下的坚实基础,结合TensorFlow和PyTorch的强大功能,我们能在数据科学领域探索无限可能,解决复杂问题并推动科研进步。
62 0
|
3月前
|
机器学习/深度学习 数据采集 TensorFlow
使用TensorFlow进行模型训练:一次实战探索
【8月更文挑战第22天】本文通过实战案例详解使用TensorFlow进行模型训练的过程。首先确保已安装TensorFlow,接着预处理数据,包括加载、增强及归一化。然后利用`tf.keras`构建卷积神经网络模型,并配置训练参数。最后通过回调机制训练模型,并对模型性能进行评估。此流程为机器学习项目提供了一个实用指南。
|
3月前
|
API UED 开发者
如何在Uno Platform中轻松实现流畅动画效果——从基础到优化,全方位打造用户友好的动态交互体验!
【8月更文挑战第31天】在开发跨平台应用时,确保用户界面流畅且具吸引力至关重要。Uno Platform 作为多端统一的开发框架,不仅支持跨系统应用开发,还能通过优化实现流畅动画,增强用户体验。本文探讨了Uno Platform中实现流畅动画的多个方面,包括动画基础、性能优化、实践技巧及问题排查,帮助开发者掌握具体优化策略,提升应用质量与用户满意度。通过合理利用故事板、减少布局复杂性、使用硬件加速等技术,结合异步方法与预设缓存技巧,开发者能够创建美观且流畅的动画效果。
80 0
|
3月前
|
安全 Apache 数据安全/隐私保护
你的Wicket应用安全吗?揭秘在Apache Wicket中实现坚不可摧的安全认证策略
【8月更文挑战第31天】在当前的网络环境中,安全性是任何应用程序的关键考量。Apache Wicket 是一个强大的 Java Web 框架,提供了丰富的工具和组件,帮助开发者构建安全的 Web 应用程序。本文介绍了如何在 Wicket 中实现安全认证,
43 0

热门文章

最新文章