深度学习笔记12:卷积神经网络的Tensorflow实现

简介:

在上一讲中,我们学习了如何利用 numpy 手动搭建卷积神经网络。但在实际的图像识别中,使用 numpy 去手写 CNN 未免有些吃力不讨好。在 DNN 的学习中,我们也是在手动搭建之后利用 Tensorflow 去重新实现一遍,一来为了能够对神经网络的传播机制能够理解更加透彻,二来也是为了更加高效使用开源框架快速搭建起深度学习项目。本节就继续和大家一起学习如何利用 Tensorflow 搭建一个卷积神经网络。

我们继续以 NG 课题组提供的 sign 手势数据集为例,学习如何通过 Tensorflow 快速搭建起一个深度学习项目。数据集标签共有零到五总共 6 类标签,示例如下:

9bc069c8e68dad5bf89e524533b0d5ef404e0a64

先对数据进行简单的预处理并查看训练集和测试集维度:

 

X_train = X_train_orig/ 255.
X_test = X_test_orig/ 255.
Y_train = convert_to_one_hot(Y_train_orig, 6 ).T
Y_test = convert_to_one_hot(Y_test_orig, 6 ).T
print ( "number of training examples = " + str(X_train.shape[ 0 ]))
print ( "number of test examples = " + str(X_test.shape[ 0 ]))
print ( "X_train shape: " + str(X_train.shape))
print ( "Y_train shape: " + str(Y_train.shape))
print ( "X_test shape: " + str(X_test.shape))
print ( "Y_test shape: " + str(Y_test.shape))
f2e0e3a38f81b7eb17ca308f8e02bce52ce856c2
可见我们总共有 1080 张 64

643 训练集图像,120 张 64643 的测试集图像,共有 6 类标签。下面我们开始搭建过程。

创建 placeholder

首先需要为训练集预测变量和目标变量创建占位符变量 placeholder ,定义创建占位符变量函数:

 

def create_placeholders (n_H0, n_W0, n_C0, n_y) :
"""
Creates the placeholders for the tensorflow session.
Arguments:
n_W0 -- scalar, width of an input image
n_H0 -- scalar, height of an input image
n_y -- scalar, number of classes
n_C0 -- scalar, number of channels of the input Returns:
Y -- placeholder for the input labels, of shape [None, n_y] and dtype "float"
X -- placeholder for the data input, of shape [None, n_H0, n_W0, n_C0] and dtype "float"
"""
X = tf.placeholder(tf.float32, shape=( None , n_H0, n_W0, n_C0), name= 'X' )
Y = tf.placeholder(tf.float32, shape=( None , n_y), name= 'Y' )
return X, Y
参数初始化

然后需要对滤波器权值参数进行初始化:

 

def initialize_parameters () :
"""
Initializes weight parameters to build a neural network with tensorflow.
Returns: parameters -- a dictionary of tensors containing W1, W2
"""
tf.set_random_seed( 1 )
W1 = tf.get_variable( "W1" , [ 4 , 4 , 3 , 8 ], initializer = tf.contrib.layers.xavier_initializer(seed = 0 ))
W2 = tf.get_variable( "W2" , [ 2 , 2 , 8 , 16 ], initializer = tf.contrib.layers.xavier_initializer(seed = 0 ))
parameters = { "W1" : W1,
"W2" : W2}
return parameters
执行卷积网络的前向传播过程
ae7c5f1a8e5596fcc80c59032af4ab54b579680e
前向传播过程如下所示:CONV2D -> RELU -> MAXPOOL -> CONV2D -> RELU -> MAXPOOL -> FLATTEN -> FULLYCONNECTED

可见我们要搭建的是一个典型的 CNN 过程,经过两次的卷积-relu激活-最大池化,然后展开接上一个全连接层。利用 Tensorflow 搭建上述传播过程如下:

 

def forward_propagation (X, parameters) :
"""
Implements the forward propagation for the model
Arguments:
X -- input dataset placeholder, of shape (input size, number of examples)
parameters -- python dictionary containing your parameters "W1", "W2"
Z3 -- the output of the last LINEAR unit
the shapes are given in initialize_parameters Returns:
""" # Retrieve the parameters from the dictionary "parameters"
W1 = parameters[ 'W1' ]
W2 = parameters[ 'W2' ]
# CONV2D: stride of 1, padding 'SAME'
Z1 = tf.nn.conv2d(X,W1, strides = [ 1 , 1 , 1 , 1 ], padding = 'SAME' )
# RELU
A1 = tf.nn.relu(Z1)
# MAXPOOL: window 8x8, sride 8, padding 'SAME'
P1 = tf.nn.max_pool(A1, ksize = [ 1 , 8 , 8 , 1 ], strides = [ 1 , 8 , 8 , 1 ], padding = 'SAME' )
# CONV2D: filters W2, stride 1, padding 'SAME'
Z2 = tf.nn.conv2d(P1,W2, strides = [ 1 , 1 , 1 , 1 ], padding = 'SAME' )
# RELU
A2 = tf.nn.relu(Z2)
# MAXPOOL: window 4x4, stride 4, padding 'SAME'
P2 = tf.nn.max_pool(A2, ksize = [ 1 , 4 , 4 , 1 ], strides = [ 1 , 4 , 4 , 1 ], padding = 'SAME' )
# FLATTEN
P2 = tf.contrib.layers.flatten(P2)
Z3 = tf.contrib.layers.fully_connected(P2, 6 , activation_fn = None )
return Z3
计算当前损失
Tensorflow 中计算损失函数非常简单,一行代码即可:
def compute_cost (Z3, Y) :
 

"""
Computes the cost
Arguments:
Z3 -- output of forward propagation (output of the last LINEAR unit), of shape (6, number of examples)
Y -- "true" labels vector placeholder, same shape as Z3 Returns: cost - Tensor of the cost function
"""
cost = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=Z3, labels=Y))
return cost

定义好上述过程之后,就可以封装整体的训练过程模型。可能你会问为什么没有反向传播,这里需要注意的是 Tensorflow 帮助我们自动封装好了反向传播过程,无需我们再次定义,在实际搭建过程中我们只需将前向传播的网络结构定义清楚即可。

封装模型

 

def model (X_train, Y_train, X_test, Y_test, learning_rate = 0.009,
num_epochs = 100, minibatch_size = 64, print_cost = True) :
"""
Implements a three-layer ConvNet in Tensorflow:
CONV2D -> RELU -> MAXPOOL -> CONV2D -> RELU -> MAXPOOL -> FLATTEN -> FULLYCONNECTED
Arguments: X_train -- training set, of shape (None, 64, 64, 3)
X_test -- training set, of shape (None, 64, 64, 3)
Y_train -- test set, of shape (None, n_y = 6) Y_test -- test set, of shape (None, n_y = 6)
minibatch_size -- size of a minibatch
learning_rate -- learning rate of the optimization num_epochs -- number of epochs of the optimization loop
test_accuracy -- real number, testing accuracy on the test set (X_test)
print_cost -- True to print the cost every 100 epochs Returns: train_accuracy -- real number, accuracy on the train set (X_train)
"""
parameters -- parameters learnt by the model. They can then be used to predict.

ops.reset_default_graph()
tf.set_random_seed( 1 )
seed = 3
(m, n_H0, n_W0, n_C0) = X_train.shape
n_y = Y_train.shape[ 1 ]
costs = []
# Create Placeholders of the correct shape
X, Y = create_placeholders(n_H0, n_W0, n_C0, n_y)
# Initialize parameters
parameters = initialize_parameters()
# Forward propagation
Z3 = forward_propagation(X, parameters)
# Cost function
cost = compute_cost(Z3, Y)
# Backpropagation
optimizer = tf.train.AdamOptimizer(learning_rate = learning_rate).minimize(cost) # Initialize all the variables globally
init = tf.global_variables_initializer()
# Start the session to compute the tensorflow graph with tf.Session() as sess:
# Run the initialization
sess.run(init)
# Do the training loop for epoch in range(num_epochs):
minibatch_cost = 0.
num_minibatches = int(m / minibatch_size)
seed = seed + 1
minibatches = random_mini_batches(X_train, Y_train, minibatch_size, seed)
for minibatch in minibatches:
# Select a minibatch
(minibatch_X, minibatch_Y) = minibatch
_ , temp_cost = sess.run([optimizer, cost], feed_dict={X: minibatch_X, Y: minibatch_Y})
minibatch_cost += temp_cost / num_minibatches
# Print the cost every epoch if print_cost == True and epoch % 5 == 0 :
print ( "Cost after epoch %i: %f" % (epoch, minibatch_cost))
if print_cost == True and epoch % 1 == 0 :
costs.append(minibatch_cost)
# plot the cost
plt.plot(np.squeeze(costs))
plt.ylabel( 'cost' )
plt.xlabel( 'iterations (per tens)' )
plt.title( "Learning rate =" + str(learning_rate))
plt.show() # Calculate the correct predictions
predict_op = tf.argmax(Z3, 1 )
correct_prediction = tf.equal(predict_op, tf.argmax(Y, 1 ))
# Calculate accuracy on the test set
accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float" ))
print(accuracy)
train_accuracy = accuracy.eval({X: X_train, Y: Y_train})
test_accuracy = accuracy.eval({X: X_test, Y: Y_test})
print( "Train Accuracy:" , train_accuracy)
print( "Test Accuracy:" , test_accuracy)
return train_accuracy, test_accuracy, parameters

对训练集执行模型训练:

 

_, _, parameters = model(X_train, Y_train, X_test, Y_test)

训练迭代过程如下:

183332cea442a58b84bc542e64243b513b696555

78be590f7454b8f0a0e25e7c2058b5f5e61f9cfd

我们在训练集上取得了 0.67 的准确率,在测试集上的预测准确率为 0.58 ,虽然效果并不显著,模型也有待深度调优,但我们已经学会了如何用 Tensorflow 快速搭建起一个深度学习系统了。


原文发布时间为:2018-09-17

本文作者:louwill

本文来自云栖社区合作伙伴“Python爱好者社区”,了解相关信息可以关注“Python爱好者社区”。

相关文章
|
28天前
|
机器学习/深度学习 人工智能 运维
网管不再抓头发:深度学习教你提前发现网络事故
网管不再抓头发:深度学习教你提前发现网络事故
54 2
|
10天前
|
机器学习/深度学习 人工智能 算法
Wi-Fi老是卡?不如试试让“深度学习”来当网络管家!
Wi-Fi老是卡?不如试试让“深度学习”来当网络管家!
125 68
|
1月前
|
机器学习/深度学习 算法 数据安全/隐私保护
基于PSO粒子群优化TCN-LSTM时间卷积神经网络时间序列预测算法matlab仿真
本内容展示了一种基于粒子群优化(PSO)与时间卷积神经网络(TCN)的时间序列预测方法。通过 MATLAB2022a 实现,完整程序运行无水印,核心代码附详细中文注释及操作视频。算法利用 PSO 优化 TCN 的超参数(如卷积核大小、层数等),提升非线性时间序列预测性能。TCN 结构包含因果卷积层与残差连接,结合 LSTM 构建混合模型,经多次迭代选择最优超参数,最终实现更准确可靠的预测效果,适用于金融、气象等领域。
|
2月前
|
机器学习/深度学习 人工智能 算法
深度解析:基于卷积神经网络的宠物识别
宠物识别技术随着饲养规模扩大而兴起,传统手段存在局限性,基于卷积神经网络的宠物识别技术应运而生。快瞳AI通过优化MobileNet-SSD架构、多尺度特征融合及动态网络剪枝等技术,实现高效精准识别。其在智能家居、宠物医疗和防走失领域展现广泛应用前景,为宠物管理带来智能化解决方案,推动行业迈向新高度。
|
2月前
|
机器学习/深度学习 算法 数据安全/隐私保护
基于PSO粒子群优化TCN时间卷积神经网络时间序列预测算法matlab仿真
本内容介绍了一种基于PSO(粒子群优化)改进TCN(时间卷积神经网络)的时间序列预测方法。使用Matlab2022a运行,完整程序无水印,附带核心代码中文注释及操作视频。TCN通过因果卷积层与残差连接处理序列数据,PSO优化其卷积核权重等参数以降低预测误差。算法中,粒子根据个体与全局最优位置更新速度和位置,逐步逼近最佳参数组合,提升预测性能。
|
1月前
|
机器学习/深度学习 数据采集 并行计算
基于WOA鲸鱼优化的TCN时间卷积神经网络时间序列预测算法matlab仿真
本内容介绍了一种基于TCN(Temporal Convolutional Network)与WOA(Whale Optimization Algorithm)的时间序列预测算法。TCN通过扩张卷积捕捉时间序列长距离依赖关系,结合批归一化和激活函数提取特征;WOA用于优化TCN网络参数,提高预测精度。算法流程包括数据归一化、种群初始化、适应度计算及参数更新等步骤。程序基于Matlab2022a/2024b开发,完整版含详细中文注释与操作视频,运行效果无水印展示。适用于函数优化、机器学习调参及工程设计等领域复杂任务。
|
1月前
|
机器学习/深度学习 算法 数据安全/隐私保护
基于PSO粒子群优化TCN-GRU时间卷积神经网络时间序列预测算法matlab仿真
本内容涵盖基于粒子群优化(PSO)与时间卷积神经网络(TCN)的时间序列预测算法。完整程序运行效果无水印,适用于Matlab2022a版本。核心代码配有详细中文注释及操作视频。理论部分阐述了传统方法(如ARIMA)在非线性预测中的局限性,以及TCN结合PSO优化超参数的优势。模型由因果卷积层和残差连接组成,通过迭代训练与评估选择最优超参数,最终实现高精度预测,广泛应用于金融、气象等领域。
|
3月前
|
机器学习/深度学习 算法 数据安全/隐私保护
基于GA遗传优化TCN-GRU时间卷积神经网络时间序列预测算法matlab仿真
本项目基于MATLAB2022a开发,提供无水印算法运行效果预览及核心程序(含详细中文注释与操作视频)。通过结合时间卷积神经网络(TCN)和遗传算法(GA),实现复杂非线性时间序列的高精度预测。TCN利用因果卷积层与残差连接提取时间特征,GA优化超参数(如卷积核大小、层数等),显著提升模型性能。项目涵盖理论概述、程序代码及完整实现流程,适用于金融、气象、工业等领域的时间序列预测任务。
|
3月前
|
机器学习/深度学习 人工智能 运维
AI“捕风捉影”:深度学习如何让网络事件检测更智能?
AI“捕风捉影”:深度学习如何让网络事件检测更智能?
84 8
|
4月前
|
机器学习/深度学习 算法 JavaScript
基于GA遗传优化TCN时间卷积神经网络时间序列预测算法matlab仿真
本内容介绍了一种基于遗传算法优化的时间卷积神经网络(TCN)用于时间序列预测的方法。算法运行于 Matlab2022a,完整程序无水印,附带核心代码、中文注释及操作视频。TCN通过因果卷积层与残差连接学习时间序列复杂特征,但其性能依赖超参数设置。遗传算法通过对种群迭代优化,确定最佳超参数组合,提升预测精度。此方法适用于金融、气象等领域,实现更准确可靠的未来趋势预测。

热门文章

最新文章