深度学习笔记16:CNN经典论文研读之AlexNet及其Tensorflow实现

本文涉及的产品
函数计算FC,每月15万CU 3个月
简介:

在 Yann Lecun 提出 Le-Net5 之后的十几年内,由于神经网络本身较差的可解释性以及受限于计算能力的影响,神经网络发展缓慢且在较长一段时间内处于低谷。2012年,深度学习三巨头之一、具有神经网络之父之称的 Geoffrey Hinton 的学生 Alex Krizhevsky 率先提出了 AlexNet,并在当年度的 ILSVRC(ImageNet大规模视觉挑战赛)以显著的优势获得当届冠军,top-5 的错误率降至了 16.4%,相比于第二名 26.2% 的错误率有了极大的提升。这一成绩引起了学界和业界的极大关注,计算机视觉也开始逐渐进入深度学习主导的时代。

AlexNet 继承了 LeCun 的 Le-Net5 思想,将卷积神经网络的发展到很宽很深的网络当中,相较于 Le-Net5 的六万个参数,AlexNet 包含了 6 亿三千万条连接,6000 万个参数和 65 万个神经元,其网络结构包括 5 层卷积,其中第一、第二和第五层卷积后面连接了最大池化层,然后是 3 个全连接层。AlexNet 的创新点在于:

 ●  首次成功使用 relu 作为激活函数,使其在较深的网络上效果超过传统的 sigmoid 激活函数,极大的缓解了梯度消失问题。
 ●  首次在实践中发挥了 dropout 的作用,为全连接层添加 dropout 防止过拟合。
 ●  相较于之前 Le-Net5 中采用的平均池化,AlexNet 首次采用了重叠的最大池化,避免了平均池化的模糊化效果。
 ●  提出了 LRN 层,对局部神经元的活动创建了竞争机制。
 ●  使用多 GPU 进行并行计算。

 ●  采用了一定的数据增强手段,一定程度上也缓解了过拟合。

AlexNet 网络结构

以上是 AlexNet 的基本介绍和创新点,下面我们看一下 AlexNet 的网络架构。

867362cba71f687367bbed30a5129eacf0699d29

AlexNet 不算池化层总共有 8 层,前 5 层为卷积层,其中第一、第二和第五层卷积都包含了一个最大池化层,后三层为全连接层。所以 AlexNet 的简略结构如下:
输入>卷积>池化>卷积>池化>卷积>卷积>卷积>池化>全连接>全连接>全连接>输出

各层的结构和参数如下:
C1层是个卷积层,其输入输出结构如下:
输入: 227 x 227 x 3 滤波器大小: 11 x 11 x 3 滤波器个数:96
输出: 55 x 55 x 96

P1层是C1后面的池化层,其输入输出结构如下:
输入: 55 x 55 x 96 滤波器大小: 3 x 3 滤波器个数:96
输出: 27 x 27 x 96

C2层是个卷积层,其输入输出结构如下:
输入: 27 x 27 x 96 滤波器大小: 5 x 5 x 96 滤波器个数:256
输出: 27 x 27 x 256

P2层是C2后面的池化层,其输入输出结构如下:
输入: 27 x 27 x 256 滤波器大小: 3 x 3 滤波器个数:256
输出: 13 x 13 x 256

C3层是个卷积层,其输入输出结构如下:
输入: 13 x 13 x 256 滤波器大小: 3 x 3 x 256 滤波器个数:384
输出: 13 x 13 x 384

C4层是个卷积层,其输入输出结构如下:
输入: 13 x 13 x 384 滤波器大小: 3 x 3 x 384 滤波器个数:384
输出: 13 x 13 x 384

C5层是个卷积层,其输入输出结构如下:
输入: 13 x 13 x 384 滤波器大小: 3 x 3 x 384 滤波器个数:256
输出: 13 x 13 x 256

P5层是C5后面的池化层,其输入输出结构如下:
输入: 13 x 13 x 256 滤波器大小: 3 x 3 滤波器个数:256
输出: 6 x 6 x 256

F6层是个全连接层,其输入输出结构如下:
输入:6 x 6 x 256
输出:4096

F7层是个全连接层,其输入输出结构如下:
输入:4096
输出:4096

F8层也是个全连接层,即输出层,其输入输出结构如下:
输入:4096
输出:1000

在论文中,输入图像大小为 224 x 224 x 3,实际为 227 x 227 x 3。各层输出采用 relu 进行激活。前五层卷积虽然计算量极大,但参数量并不如后三层的全连接层多,但前五层卷积层的作用却要比全连接层重要许多。

AlexNet 在验证集和测试集上的分类错误率表现:

599eac0c806a71524bb688c50ced33a1d21e815b

AlexNet 的 tensorflow 实现

我们继续秉持前面关于利用 tensorflow 构建卷积神经网络的基本步骤和方法:定义创建输入输出的占位符变量模块、初始化各层参数模块、创建前向传播模块、定义模型优化迭代模型,以及在最后设置输入数据。

 ●  定义卷积过程
 

def conv(x, filter_height, filter_width, num_filters, stride_y, stride_x, name,
padding='SAME', groups=1):
# Get number of input channels
input_channels = int(x.get_shape()[-1])
# Create lambda function for the convolution
convolve = lambda i, k: tf.nn.conv2d(i, k,
padding=padding)
strides=[1, stride_y, stride_x, 1],
with tf.variable_scope(name) as scope:
# Create tf variables for the weights and biases of the conv layer
weights = tf.get_variable('weights', shape=[filter_height,
biases = tf.get_variable('biases', shape=[num_filters])
filter_width,
input_channels/groups,
num_filters])
if groups == 1:
conv = convolve(x, weights)
# In the cases of multiple groups, split inputs & weights and
else:
# Split input and weights and convolve them separately
input_groups = tf.split(axis=3, num_or_size_splits=groups, value=x)
weight_groups = tf.split(axis=3, num_or_size_splits=groups,
output_groups = [convolve(i, k) for i, k in zip(input_groups, weight_groups)]
value=weights)
# Concat the convolved output together again
conv = tf.concat(axis=3, values=output_groups)
# Add biases
bias = tf.reshape(tf.nn.bias_add(conv, biases), tf.shape(conv))
# Apply relu function
relu_result = tf.nn.relu(bias, name=scope.name)
return relu_result
●  定义全连接层
 

def fc(x, num_in, num_out, name, relu=True):
with tf.variable_scope(name) as scope:
# Create tf variables for the weights and biases
weights = tf.get_variable('weights', shape=[num_in, num_out],
trainable=True)
biases = tf.get_variable('biases', [num_out], trainable=True)
# Matrix multiply weights and inputs and add bias
act = tf.nn.xw_plus_b(x, weights, biases, name=scope.name)
if relu:
relu = tf.nn.relu(act)
return relu
else:
return act

 ●  定义最大池化过程

 

def max_pool(x, filter_height, filter_width, stride_y, stride_x, name,
padding='SAME'):
return tf.nn.max_pool(x, ksize=[1, filter_height, filter_width, 1],
strides=[1, stride_y, stride_x, 1],
padding=padding, name=name)

 ●  定义 LRN

 

def lrn(x, radius, alpha, beta, name, bias=1.0):
return tf.nn.local_response_normalization(x, depth_radius=radius,
alpha=alpha, beta=beta,
bias=bias, name=name)

 ●  定义 dropout 操作

def dropout(x, keep_prob): 
return tf.nn.dropout(x,keep_prob)
 以上关于搭建 AlexNet 的各个组件我们都已准备好,下面我们利用这些组建创建一个 AlexNet 类来实现 AlexNet。

class AlexNet(object):
 def __init__(self, x, keep_prob, num_classes, skip_layer,
 weights_path='DEFAULT'):
 self.NUM_CLASSES = num_classes
 # Parse input arguments into class variables
 self.X = x
 if weights_path == 'DEFAULT':
 self.KEEP_PROB = keep_prob
 self.SKIP_LAYER = skip_layer

 # Call the create function to build the computational graph of AlexNet
 self.WEIGHTS_PATH = 'bvlc_alexnet.npy'
 else:
 self.create()
 self.WEIGHTS_PATH = weights_path


 conv1 = conv(self.X, 11, 11, 96, 4, 4, padding='VALID', name='conv1')
 def create(self):
 # 1st Layer: Conv (w ReLu) -> Lrn -> Pool
 norm1 = lrn(conv1, 2, 1e-04, 0.75, name='norm1')
 # 2nd Layer: Conv (w ReLu) -> Lrn -> Pool with 2 groups
 pool1 = max_pool(norm1, 3, 3, 2, 2, padding='VALID', name='pool1')

 conv2 = conv(pool1, 5, 5, 256, 1, 1, groups=2, name='conv2')
 conv3 = conv(pool2, 3, 3, 384, 1, 1, name='conv3')
 norm2 = lrn(conv2, 2, 1e-04, 0.75, name='norm2')
 pool2 = max_pool(norm2, 3, 3, 2, 2, padding='VALID', name='pool2')

 # 3rd Layer: Conv (w ReLu)

 conv5 = conv(conv4, 3, 3, 256, 1, 1, groups=2, name='conv5')
 # 4th Layer: Conv (w ReLu) splitted into two groups
 conv4 = conv(conv3, 3, 3, 384, 1, 1, groups=2, name='conv4')

 # 5th Layer: Conv (w ReLu) -> Pool splitted into two groups
 fc6 = fc(flattened, 6*6*256, 4096, name='fc6')
 pool5 = max_pool(conv5, 3, 3, 2, 2, padding='VALID', name='pool5')

 # 6th Layer: Flatten -> FC (w ReLu) -> Dropout
 dropout6 = dropout(fc6, self.KEEP_PROB)
 flattened = tf.reshape(pool5, [-1, 6*6*256])

 # 7th Layer: FC (w ReLu) -> Dropout
 def load_initial_weights(self, session):
 fc7 = fc(dropout6, 4096, 4096, name='fc7')
 dropout7 = dropout(fc7, self.KEEP_PROB)

 # 8th Layer: FC and return unscaled activations
 self.fc8 = fc(dropout7, 4096, self.NUM_CLASSES, relu=False, name='fc8')

 with tf.variable_scope(op_name, reuse=True):
 # Load the weights into memory
 weights_dict = np.load(self.WEIGHTS_PATH, encoding='bytes').item()
 for op_name in weights_dict:

 # Loop over all layer names stored in the weights dict

 if op_name not in self.SKIP_LAYER:
 # Check if layer should be trained from scratch


 session.run(var.assign(data))
 # Assign weights/biases to their corresponding tf variable
 for data in weights_dict[op_name]:
 if len(data.shape) == 1:

 # Biases
 var = tf.get_variable('biases', trainable=False)
 session.run(var.assign(data))

 # Weights
 else:
 var = tf.get_variable('weights', trainable=False)

在上述代码中,我们利用了之前定义的各个组件封装了前向计算过程,从http://www.cs.toronto.edu/~guerzhoy/tf_alexnet/上导入了预训练好的模型权重。这样一来,我们就将 AlexNet 基本搭建好了。


原文发布时间为:2018-09-28

本文作者:louwill

本文来自云栖社区合作伙伴“Python爱好者社区”,了解相关信息可以关注“Python爱好者社区”。

相关实践学习
【文生图】一键部署Stable Diffusion基于函数计算
本实验教你如何在函数计算FC上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。函数计算提供一定的免费额度供用户使用。本实验答疑钉钉群:29290019867
建立 Serverless 思维
本课程包括: Serverless 应用引擎的概念, 为开发者带来的实际价值, 以及让您了解常见的 Serverless 架构模式
相关文章
|
3月前
|
机器学习/深度学习 人工智能 算法
基于Python深度学习的【害虫识别】系统~卷积神经网络+TensorFlow+图像识别+人工智能
害虫识别系统,本系统使用Python作为主要开发语言,基于TensorFlow搭建卷积神经网络算法,并收集了12种常见的害虫种类数据集【"蚂蚁(ants)", "蜜蜂(bees)", "甲虫(beetle)", "毛虫(catterpillar)", "蚯蚓(earthworms)", "蜚蠊(earwig)", "蚱蜢(grasshopper)", "飞蛾(moth)", "鼻涕虫(slug)", "蜗牛(snail)", "黄蜂(wasp)", "象鼻虫(weevil)"】 再使用通过搭建的算法模型对数据集进行训练得到一个识别精度较高的模型,然后保存为为本地h5格式文件。最后使用Djan
215 1
基于Python深度学习的【害虫识别】系统~卷积神经网络+TensorFlow+图像识别+人工智能
|
4月前
|
机器学习/深度学习 人工智能 算法
基于Python深度学习的【蘑菇识别】系统~卷积神经网络+TensorFlow+图像识别+人工智能
蘑菇识别系统,本系统使用Python作为主要开发语言,基于TensorFlow搭建卷积神经网络算法,并收集了9种常见的蘑菇种类数据集【"香菇(Agaricus)", "毒鹅膏菌(Amanita)", "牛肝菌(Boletus)", "网状菌(Cortinarius)", "毒镰孢(Entoloma)", "湿孢菌(Hygrocybe)", "乳菇(Lactarius)", "红菇(Russula)", "松茸(Suillus)"】 再使用通过搭建的算法模型对数据集进行训练得到一个识别精度较高的模型,然后保存为为本地h5格式文件。最后使用Django框架搭建了一个Web网页平台可视化操作界面,
260 11
基于Python深度学习的【蘑菇识别】系统~卷积神经网络+TensorFlow+图像识别+人工智能
|
6月前
|
机器学习/深度学习 人工智能 算法
【宠物识别系统】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+图像识别
宠物识别系统,本系统使用Python作为主要开发语言,基于TensorFlow搭建卷积神经网络算法,并收集了37种常见的猫狗宠物种类数据集【'阿比西尼亚猫(Abyssinian)', '孟加拉猫(Bengal)', '暹罗猫(Birman)', '孟买猫(Bombay)', '英国短毛猫(British Shorthair)', '埃及猫(Egyptian Mau)', '缅因猫(Maine Coon)', '波斯猫(Persian)', '布偶猫(Ragdoll)', '俄罗斯蓝猫(Russian Blue)', '暹罗猫(Siamese)', '斯芬克斯猫(Sphynx)', '美国斗牛犬
360 29
【宠物识别系统】Python+卷积神经网络算法+深度学习+人工智能+TensorFlow+图像识别
|
4月前
|
机器学习/深度学习 PyTorch TensorFlow
深度学习工具和框架详细指南:PyTorch、TensorFlow、Keras
在深度学习的世界中,PyTorch、TensorFlow和Keras是最受欢迎的工具和框架,它们为研究者和开发者提供了强大且易于使用的接口。在本文中,我们将深入探索这三个框架,涵盖如何用它们实现经典深度学习模型,并通过代码实例详细讲解这些工具的使用方法。
|
7月前
|
机器学习/深度学习 人工智能 自然语言处理
深入理解深度学习中的卷积神经网络(CNN)
深入理解深度学习中的卷积神经网络(CNN)
362 10
|
6月前
|
机器学习/深度学习 人工智能 自然语言处理
深入理解深度学习中的卷积神经网络(CNN)##
在当今的人工智能领域,深度学习已成为推动技术革新的核心力量之一。其中,卷积神经网络(CNN)作为深度学习的一个重要分支,因其在图像和视频处理方面的卓越性能而备受关注。本文旨在深入探讨CNN的基本原理、结构及其在实际应用中的表现,为读者提供一个全面了解CNN的窗口。 ##
|
7月前
|
机器学习/深度学习 数据采集 数据可视化
TensorFlow,一款由谷歌开发的开源深度学习框架,详细讲解了使用 TensorFlow 构建深度学习模型的步骤
本文介绍了 TensorFlow,一款由谷歌开发的开源深度学习框架,详细讲解了使用 TensorFlow 构建深度学习模型的步骤,包括数据准备、模型定义、损失函数与优化器选择、模型训练与评估、模型保存与部署,并展示了构建全连接神经网络的具体示例。此外,还探讨了 TensorFlow 的高级特性,如自动微分、模型可视化和分布式训练,以及其在未来的发展前景。
690 5
|
7月前
|
机器学习/深度学习 自然语言处理 算法
深入理解深度学习中的卷积神经网络(CNN)
深入理解深度学习中的卷积神经网络(CNN)
319 1
|
5月前
|
机器学习/深度学习 算法 计算机视觉
基于CNN卷积神经网络的金融数据预测matlab仿真,对比BP,RBF,LSTM
本项目基于MATLAB2022A,利用CNN卷积神经网络对金融数据进行预测,并与BP、RBF和LSTM网络对比。核心程序通过处理历史价格数据,训练并测试各模型,展示预测结果及误差分析。CNN通过卷积层捕捉局部特征,BP网络学习非线性映射,RBF网络进行局部逼近,LSTM解决长序列预测中的梯度问题。实验结果表明各模型在金融数据预测中的表现差异。
292 10
|
7月前
|
机器学习/深度学习 人工智能 自然语言处理
深度学习中的卷积神经网络(CNN): 从理论到实践
本文将深入浅出地介绍卷积神经网络(CNN)的工作原理,并带领读者通过一个简单的图像分类项目,实现从理论到代码的转变。我们将探索CNN如何识别和处理图像数据,并通过实例展示如何训练一个有效的CNN模型。无论你是深度学习领域的新手还是希望扩展你的技术栈,这篇文章都将为你提供宝贵的知识和技能。
783 7

热门文章

最新文章