【深度学习系列】CNN模型的可视化

本文涉及的产品
模型训练 PAI-DLC,100CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,每月250计算时 3个月
简介: 【深度学习系列】CNN模型的可视化

模型可视化

  因为我没有搜到用 paddlepaddle 在 imagenet 1000 分类的数据集上预训练好的 googLeNet inception v3,所以用了 keras 做实验,以下图作为输入:

  • 输入图片
  • 北汽绅宝 D50:



image.png

  • feature map 可视化

  取网络的前 15 层,每层取前 3 个 feature map。

  北汽绅宝 D50 feature map:



网络异常,图片无法展示
|


从左往右看,可以看到整个特征提取的过程,有的分离背景、有的提取轮廓,有的提取色差,但也能发现 10、11 层中间两个 feature map 是纯色的,可能这一层 feature map 数有点多了,另外北汽绅宝 D50 的光晕对 feature map 中光晕的影响也能比较明显看到。


Hypercolumns

通常我们把神经网络最后一个 fc 全连接层作为整个图片的特征表示,但是这一表示可能过于粗糙(从上面的 feature map 可视化也能看出来),没法精确描述局部空间上的特征,而网络的第一层空间特征又太过精确,缺乏语义信息(比如后面的色差、轮廓等),于是论文《Hypercolumns for Object Segmentation and Fine-grained Localization》提出一种新的特征表示方法:Hypercolumns——将一个像素的 hypercolumn 定义为所有 cnn 单元对应该像素位置的激活输出值组成的向量),比较好的 tradeoff 了前面两个问题,直观地看如图:


image.png



把北汽绅宝 D50 第 1、4、7 层的 feature map 以及第 1, 4, 7, 10, 11, 14, 17 层的 feature map 分别做平均,可视化如下:


image.png


代码实践

1# -*- coding: utf-8 -*-2from keras.applications import InceptionV3
  3from keras.applications.inception_v3 import preprocess_input
  4from keras.preprocessing import image
  5from keras.models import Model
  6from keras.applications.imagenet_utils import decode_predictions
  7import numpy as np
  8import cv2
  9from cv2 import *
 10import matplotlib.pyplot as plt
 11import scipy as sp
 12from scipy.misc import toimage
 1314deftest_opencv():15# 加载摄像头16     cam = VideoCapture(0)  # 0 -> 摄像头序号,如果有两个三个四个摄像头,要调用哪一个数字往上加嘛17# 抓拍 5 张小图片18for x inrange(0, 5):
 19         s, img = cam.read()
 20if s:
 21             imwrite("o-" + str(x) + ".jpg", img)
 2223defload_original(img_path):24# 把原始图片压缩为 299*299大小25     im_original = cv2.resize(cv2.imread(img_path), (299, 299))
 26     im_converted = cv2.cvtColor(im_original, cv2.COLOR_BGR2RGB)
 27     plt.figure(0)
 28     plt.subplot(211)
 29     plt.imshow(im_converted)
 30return im_original
 3132defload_fine_tune_googlenet_v3(img):33# 加载fine-tuning googlenet v3模型,并做预测34     model = InceptionV3(include_top=True, weights='imagenet')
 35     model.summary()
 36     x = image.img_to_array(img)
 37     x = np.expand_dims(x, axis=0)
 38     x = preprocess_input(x)
 39     preds = model.predict(x)
 40print('Predicted:', decode_predictions(preds))
 41     plt.subplot(212)
 42     plt.plot(preds.ravel())
 43     plt.show()
 44return model, x
 4546defextract_features(ins, layer_id, filters, layer_num):47'''
 48     提取指定模型指定层指定数目的feature map并输出到一幅图上.
 49     :param ins: 模型实例
 50     :param layer_id: 提取指定层特征
 51     :param filters: 每层提取的feature map数
 52     :param layer_num: 一共提取多少层feature map
 53     :return: None
 54     '''55iflen(ins) != 2:
 56print('parameter error:(model, instance)')
 57returnNone58     model = ins[0]
 59     x = ins[1]
 60iftype(layer_id) == type(1):
 61         model_extractfeatures = Model(input=model.input, output=model.get_layer(index=layer_id).output)
 62else:
 63         model_extractfeatures = Model(input=model.input, output=model.get_layer(name=layer_id).output)
 64     fc2_features = model_extractfeatures.predict(x)
 65if filters > len(fc2_features[0][0][0]):
 66print('layer number error.', len(fc2_features[0][0][0]),',',filters)
 67returnNone68for i inrange(filters):
 69         plt.subplots_adjust(left=0, right=1, bottom=0, top=1)
 70         plt.subplot(filters, layer_num, layer_id + 1 + i * layer_num)
 71         plt.axis("off")
 72if i < len(fc2_features[0][0][0]):
 73             plt.imshow(fc2_features[0, :, :, i])
 7475# 层数、模型、卷积核数76defextract_features_batch(layer_num, model, filters):77'''
 78     批量提取特征
 79     :param layer_num: 层数
 80     :param model: 模型
 81     :param filters: feature map数
 82     :return: None
 83     '''84     plt.figure(figsize=(filters, layer_num))
 85     plt.subplot(filters, layer_num, 1)
 86for i inrange(layer_num):
 87         extract_features(model, i, filters, layer_num)
 88     plt.savefig('sample.jpg')
 89     plt.show()
 9091defextract_features_with_layers(layers_extract):92'''
 93     提取hypercolumn并可视化.
 94     :param layers_extract: 指定层列表
 95     :return: None
 96     '''97     hc = extract_hypercolumn(x[0], layers_extract, x[1])
 98     ave = np.average(hc.transpose(1, 2, 0), axis=2)
 99     plt.imshow(ave)
100     plt.show()
101102defextract_hypercolumn(model, layer_indexes, instance):103'''
104     提取指定模型指定层的hypercolumn向量
105     :param model: 模型
106     :param layer_indexes: 层id
107     :param instance: 模型
108     :return:
109     '''110     feature_maps = []
111for i in layer_indexes:
112         feature_maps.append(Model(input=model.input, output=model.get_layer(index=i).output).predict(instance))
113     hypercolumns = []
114for convmap in feature_maps:
115for i in convmap[0][0][0]:
116             upscaled = sp.misc.imresize(convmap[0, :, :, i], size=(299, 299), mode="F", interp='bilinear')
117             hypercolumns.append(upscaled)
118return np.asarray(hypercolumns)
119120if __name__ == '__main__':
121     img_path = '~/auto1.jpg'122     img = load_original(img_path)
123     x = load_fine_tune_googlenet_v3(img)
124     extract_features_batch(15, x, 3)
125     extract_features_with_layers([1, 4, 7])
126     extract_features_with_layers([1, 4, 7, 10, 11, 14, 17])


总结

还有一些网站做的关于 CNN 的可视化做的非常不错,譬如这个网站:http://shixialiu.com/publications/cnnvis/demo/,大家可以在训练的时候采取不同的卷积核尺寸和个数对照来看训练的中间过程。

相关文章
|
2月前
|
机器学习/深度学习 数据可视化 TensorFlow
使用Python实现深度学习模型的分布式训练
使用Python实现深度学习模型的分布式训练
195 73
|
1月前
|
机器学习/深度学习 存储 人工智能
MNN:阿里开源的轻量级深度学习推理框架,支持在移动端等多种终端上运行,兼容主流的模型格式
MNN 是阿里巴巴开源的轻量级深度学习推理框架,支持多种设备和主流模型格式,具备高性能和易用性,适用于移动端、服务器和嵌入式设备。
390 18
MNN:阿里开源的轻量级深度学习推理框架,支持在移动端等多种终端上运行,兼容主流的模型格式
|
1天前
|
机器学习/深度学习 数据采集 自然语言处理
深度学习实践技巧:提升模型性能的详尽指南
深度学习模型在图像分类、自然语言处理、时间序列分析等多个领域都表现出了卓越的性能,但在实际应用中,为了使模型达到最佳效果,常规的标准流程往往不足。本文提供了多种深度学习实践技巧,包括数据预处理、模型设计优化、训练策略和评价与调参等方面的详细操作和代码示例,希望能够为应用实战提供有效的指导和支持。
|
2月前
|
机器学习/深度学习 数据采集 数据挖掘
使用Python实现智能食品消费市场分析的深度学习模型
使用Python实现智能食品消费市场分析的深度学习模型
153 36
|
2月前
|
机器学习/深度学习 数据采集 供应链
使用Python实现智能食品消费需求分析的深度学习模型
使用Python实现智能食品消费需求分析的深度学习模型
98 21
|
2月前
|
机器学习/深度学习 数据采集 搜索推荐
使用Python实现智能食品消费偏好预测的深度学习模型
使用Python实现智能食品消费偏好预测的深度学习模型
115 23
|
2月前
|
机器学习/深度学习 数据采集 数据挖掘
使用Python实现智能食品消费习惯预测的深度学习模型
使用Python实现智能食品消费习惯预测的深度学习模型
161 19
|
2月前
|
机器学习/深度学习 数据采集 数据挖掘
使用Python实现智能食品消费趋势分析的深度学习模型
使用Python实现智能食品消费趋势分析的深度学习模型
156 18
|
2月前
|
机器学习/深度学习 数据采集 搜索推荐
使用Python实现深度学习模型:智能食品消费行为预测
使用Python实现深度学习模型:智能食品消费行为预测
103 8
|
2月前
|
机器学习/深度学习 数据采集 数据挖掘
使用Python实现智能食品消费模式预测的深度学习模型
使用Python实现智能食品消费模式预测的深度学习模型
84 2

热门文章

最新文章