使用卷积神经网络构建图像分类模型检测肺炎

本文涉及的产品
交互式建模 PAI-DSW,5000CU*H 3个月
模型训练 PAI-DLC,5000CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
简介: 使用卷积神经网络构建图像分类模型检测肺炎

在本篇文章中,我将概述如何使用卷积神经网络构建可靠的图像分类模型,以便从胸部x光图像中检测肺炎的存在。

640.png

肺炎是一种常见的感染,它使肺部的气囊发炎,引起呼吸困难和发烧等症状。尽管肺炎并不难治疗,但及时诊断是至关重要的。如果没有适当的治疗,肺炎可能会致命,特别是在儿童和老年人中。胸部x光检查是诊断肺炎的一种负担得起的方法。开发一种能够可靠地根据x光图像对肺炎进行分类的模型,可以减轻需求高的地区医生的负担。

数据

Kermany和他在加州大学圣迭戈分校的同事们在使用深度学习的胸部x光和光学相干断层扫描的基础上,主动识别疾病。我们使用他们研究中提供的胸部x光图像作为我们的数据集。

https://data.mendeley.com/datasets/rscbjbr9sj/3

数据结构

数据文件夹的结构应该如下所示。

DATA├──train├──NORMAL└──PNEUMONIA├──test├──NORMAL└──PNEUMONIA└──validation├──NORMAL└──PNEUMONIA

在删除未经过正确编码的图像文件后,我们的数据集中有5639个文件,我们使用这些图像中的15%作为验证集,另外15%作为测试集。我们最终的训练集包括1076例正常病例和2873例肺炎病例。

数据探索

我们的探索性数据可视化显示,肺部的炎症经常阻碍心脏和胸腔的可见性,在肺周围造成更大的变异性。

640.png

基线模型

作为我们的基线模型,我们将构建一个简单的卷积神经网络,将图像调整为方形,并将所有像素值归一化到0到1的范围后,再将其接收。完整的步骤如下所示。

fromtensorflow.keras.preprocessingimportimage, image_dataset_from_directoryfromtensorflow.kerasimportmodels, layers, optimizersfromtensorflow.keras.callbacksimportEarlyStopping#initiatinggeneratorthatrescaleandresizetheimagesinadirectorytrain_g=image.ImageDataGenerator(rescale=1/255).flow_from_directory(train_dir,
target_size= (256,256),
color_mode='grayscale',
class_mode='binary')
val_g=image.ImageDataGenerator(rescale=1/255).flow_from_directory(val_dir,
target_size= (256,256),
color_mode='grayscale',
class_mode='binary')
#settingupthearchitecturemodel=models.Sequential()
model.add(layers.Conv2D(filters=32, kernel_size=3,
activation='relu', padding='same',
input_shape=(256, 256, 1)))
model.add(layers.MaxPooling2D(pool_size= (2, 2)))
model.add(layers.Flatten())
model.add(layers.Dense(128, activation='relu'))
model.add(layers.Dense(1, activation='sigmoid'))
#compilingmodelsmodel.compile(loss='binary_crossentropy',
optimizer=optimizers.RMSprop(lr=1e-4),
metrics=['accuracy', 'Recall'])
#settingupanearlystoppingcallbackstoavoidoverfitting#stopifavalidationlossisnotreducedfor5epochscp=EarlyStopping(patience=5, restore_best_weights=True)
#fittingthemodelhistory=model.fit(train_g, #fittraingeneratorepochs=100, #itwillbestoppedbefore100epochs (earlystopping)
validation_data=val_g, #usetheassignedgeneratorasavalidationsetcallbacks= [cp], #usecpascallbackverbose=2#reporteachepochwithoutprogressbar                    )
#evaluatingthemodelmodel.evaluate(val_g) #evaluatethebestweightonvalidationset

现在我将详细解释每一步。

缩放数据

keras.image.ImageDataGenerator()获取图像并基于参数创建增强数据。这里我们只是要求它将所有像素值缩放为0到1,而不指定任何其他的增强参数。生成器与flow_from_directory结合使用,以指定的格式从目录中调用图像,然后创建重新标定的数据。

构建模型体系结构

keras.models.Sequential()启动一个序列模型。这个模型将按顺序处理添加的层。

Conv2D是卷积层,它接收输入并通过指定数量的过滤器运行它们。内核大小指的是过滤器的尺寸。因此,在本例中,我们256 * 256 * 1的图像(1指通道的数量,RGB图像有3个通道,而灰度图像有1个通道)中的每一个连续的3 * 3个像素组将通过32个过滤器生成32个特征图,大小为256 * 256 * 1。

由于256不能被3整除,所以padding = ' same'用于在我们的窗口周围添加相等的划填充。

activation = 'relu'的意思是我们将激活函数设定为relu。简单地说,我们告诉这个层转换所有的负值为0。

然后,我们将卷积层的这些输出输入池化层。MaxPooling2D通过只保留卷积输出的每个2 * 2矩阵的最大值来抽象卷积输出。现在我们有32张特征图,大小为128 * 128 * 1。

现在我们需要把这些4维输出缩小到一个单独的数字,这个数字可以告诉我们是将图像划分为肺炎还是正常。我们首先将这一层扁平化成一个单一维度,然后在随后的越来越小的稠密层中运行它们。在最后一层应用一个s型函数作为激活函数,因为我们现在希望模型输出一个输出是否为肺炎的概率。

配置

我们已经定义了模型的体系结构。下一步是决定这个模型的目标以及我们希望它如何实现。使用model.compile,我们告诉模型使用梯度下降最小化二元交叉熵损失(对数损失,logistic回归基本类似)。这里我们使用RMSprop算法来优化这个过程,自适应地降低学习速率。在后面的模型中,我使用了AMSGrad算法,它对我们的问题表现得更好。

拟合数据

最后,我们完成了模型的构建。是时候匹配我们的训练数据了!默认情况下,每个epoch将运行32个批次。我们设置了提前停止,以防止过拟合。如果连续5个epoch验证损失没有减少,此模型将停止运行。我将restore_best_weights设置为true,这样它将在这5个epoch之后恢复到执行的最高权重。

验证和评价

我们的第一个模型显示,预测验证数据类的准确率为94%,损失为0.11。从下图可以看出,training loss还有改进的空间,所以我们可能会增加模型的复杂度。此外,验证损失似乎徘徊在0.1左右。我们可以尝试通过使用数据增强添加更多数据来提高通用性。

640.png

这里是一个完整的代码,从拟合的模型绘制损失图和精度图。

importmatplotlib.pyplotasplt%matplotlibinlinedefplot_performance(hist):
'''takes the fitted model as inputplot accuracy and loss'''hist_=hist.historyepochs=hist.epochplt.plot(epochs, hist_['accuracy'], label='Training Accuracy')
plt.plot(epochs, hist_['val_accuracy'], label='Validation Accuracy')
plt.title('Training and validation accuracy')
plt.legend()
plt.figure()
plt.plot(epochs, hist_['loss'], label='Training loss')
plt.plot(epochs, hist_['val_loss'], label='Validation loss')
plt.title('Training and validation loss')
plt.legend()
plt.show()

改进模型

现在,我们将尝试实现数据扩充并为我们的模型增加更多的复杂性。

#redefiningtraininggeneratordata_aug_train=image.ImageDataGenerator(rescale=1/255,
#allowrotationwithing15degreerotation_range=15,
#adjustrangeofbrightness (1=same)
brightness_range= [0.9, 1.1],
#allowshearbyupto5degreeshear_range=5,
#zoomrangeof [0.8, 1.2]
zoom_range=0.2)
#attachgeneratortothedirectorytrain_g2=data_aug_train.flow_from_directory(train_dir,
target_size= (256,256),
color_mode='grayscale',
class_mode='binary')
#definearchitecturemodel=models.Sequential()
model.add(layers.Conv2D(32, 3, activation='relu', padding='same', input_shape=(256, 256, 1)))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(64, 3, activation='relu', padding='same'))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(128, 3, activation='relu', padding='same'))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(256, 3, activation='relu', padding='same'))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(512, 3, activation='relu', padding='same'))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Flatten())
model.add(layers.Dense(2048, activation='relu'))
model.add(layers.Dense(1, activation='sigmoid'))
#configuremodel.compile(loss='binary_crossentropy',
optimizer=optimizers.Adam(amsgrad=True),
metrics=['accuracy'])
#trainhistory=model.fit(train_g2,
epochs=100, #itwon't run all 100validation_data = val_g,callbacks = [cp],verbose = 2)# evaluatemodel.evaluate(val_g)

数据增加

这一次,我们向训练图像数据生成器添加了一些参数。因此,现在我们的生成器将通过在指定的范围内对原始图像集应用不同的旋转、亮度、剪切和缩放来为每一批图像创建新图像。

模型的复杂性

我们还增加了三组卷积层和池层,从而增加了模型的复杂性。建议随着图层的发展增加卷积滤波器的数量。这是因为当我们在这些层中移动时,我们试图提取更多的信息,因此需要更大的过滤器集。这个类比类似于我们大脑处理视觉信息的方式。当信号从视网膜移动到视交叉,到丘脑,到初级视觉皮层,然后通过下颞叶皮层,神经元的接受区每一步都变大,对复杂的信息变得越来越敏感。

评价

我们的第二个模型在验证集上显示了97.3%的准确性,损失为0.075。看起来我们的调整确实改进了我们的模型!让我们在测试集上测试它,以确保它们能很好地推广到未见数据。

#createatestgeneratortoapplyrescalingtest_g=image.ImageDataGenerator(rescale=1/255).flow_from_directory(test_dir,
target_size= (256,256),
color_mode='grayscale',
class_mode='binary',
shuffle=False)
#evaluatetogetevaluationmetricsmodel.evaluate(test_g)
#usepredicttogettheactualpredictiony_pred_prob=model.predict(test_g)
y_pred= [int(x) forxiny_pred_prob]

640.png

我们的模型以97.8%的准确率预测了测试集中的X_ray图像的类别。成功发现97.9%的肺炎病例。

结论

我们的模型显示,根据我们的数据集,使用卷积神经网络,它能够正确地检测到接近98%的肺炎病例。但尤其对于危及生命的医疗问题,即使只有2%的漏诊病例也不应被简单地忽略。

目录
相关文章
|
11天前
|
机器学习/深度学习 数据采集 算法
Python基于OpenCV和卷积神经网络CNN进行车牌号码识别项目实战
Python基于OpenCV和卷积神经网络CNN进行车牌号码识别项目实战
52 19
|
5天前
|
机器学习/深度学习 人工智能 自然语言处理
算法金 | 秒懂 AI - 深度学习五大模型:RNN、CNN、Transformer、BERT、GPT 简介
**RNN**,1986年提出,用于序列数据,如语言模型和语音识别,但原始模型有梯度消失问题。**LSTM**和**GRU**通过门控解决了此问题。 **CNN**,1989年引入,擅长图像处理,卷积层和池化层提取特征,经典应用包括图像分类和物体检测,如LeNet-5。 **Transformer**,2017年由Google推出,自注意力机制实现并行计算,优化了NLP效率,如机器翻译。 **BERT**,2018年Google的双向预训练模型,通过掩码语言模型改进上下文理解,适用于问答和文本分类。
38 9
|
2天前
|
机器学习/深度学习 计算机视觉
【YOLOv8改进- Backbone主干】YOLOv8更换主干网络之ConvNexts,纯卷积神经网络,更快更准,,降低参数量!
YOLOv8专栏探讨了针对目标检测的ConvNet创新,提出ConvNeXt模型,它挑战Transformer在视觉任务中的主导地位。ConvNeXt通过增大卷积核、使用GeLU激活、切换到LayerNorm和改进下采样层,提升了纯ConvNet性能,达到与Transformer相当的准确率和效率。论文和代码已公开。
|
2天前
|
计算机视觉 网络架构
【YOLOv8改进 - 卷积Conv】DWRSeg:扩张式残差分割网络,提高特征提取效率和多尺度信息获取能力,助力小目标检测
YOLO目标检测专栏探讨了YOLO的创新改进,如多尺度特征提取的DWRSeg网络。该网络通过区域残差化和语义残差化提升效率,使用DWR和SIR模块优化高层和低层特征。DWRSeg在Cityscapes和CamVid数据集上表现优秀,速度与准确性兼备。论文和代码已公开。核心代码展示了一个包含DWR模块的卷积层。更多配置详情见相关链接。
|
2天前
|
机器学习/深度学习 计算机视觉 网络架构
【YOLOv8改进- Backbone主干】YOLOv8 更换主干网络之 PP-LCNet,轻量级CPU卷积神经网络,降低参数量
YOLO目标检测专栏介绍了PP-LCNet,一种基于MKLDNN加速的轻量级CPU网络,提升了模型在多任务中的性能。PP-LCNet利用H-Swish、大核卷积、SE模块和全局平均池化后的全连接层,实现低延迟下的高准确性。代码和预训练模型可在PaddlePaddle的PaddleClas找到。文章提供了网络结构、核心代码及性能提升的详细信息。更多实战案例和YOLO改进见相关链接。
|
7天前
|
机器学习/深度学习 PyTorch 算法框架/工具
图神经网络是一类用于处理图结构数据的神经网络。与传统的深度学习模型(如卷积神经网络CNN和循环神经网络RNN)不同,
图神经网络是一类用于处理图结构数据的神经网络。与传统的深度学习模型(如卷积神经网络CNN和循环神经网络RNN)不同,
|
2天前
|
机器学习/深度学习 编解码 TensorFlow
【YOLOv8改进- Backbone主干】YOLOv8 更换主干网络之EfficientNet,高效的卷积神经网络,降低参数量
YOLOv8专栏探讨了目标检测的创新改进,包括模型扩展和神经架构搜索。提出的新方法使用复合系数平衡网络的深度、宽度和分辨率,产生了EfficientNets系列,其在准确性和效率上超越了先前的ConvNets。EfficientNet-B7在ImageNet上达到84.3%的顶级准确率,同时保持较小的模型大小和更快的推理速度。文章提供了论文和代码链接,以及核心的EfficientNet模型构建Python代码。
|
11天前
|
机器学习/深度学习 数据采集 算法
Python实现人工神经网络回归模型(MLPRegressor算法)并基于网格搜索(GridSearchCV)进行优化项目实战
Python实现人工神经网络回归模型(MLPRegressor算法)并基于网格搜索(GridSearchCV)进行优化项目实战
|
4天前
|
Shell Linux C语言
|
2天前
|
网络协议 Ubuntu Linux