TensorFlow CNN示例详解

TensorFlow官网给出的CMNIST手写识别例子是典型的LeNet-5结构：
输入层-卷积层-池化层-卷积层-池化层-全连接层-全连接层-Softmax-输出层

详细解释请看下面的代码的comment

开头没什么好说的。。。我觉得

#!/usr/bin/env
#****UTF-8****

导入必要的包

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data

根据给定的维度参数，初始化weight，正态分布随机

def weight_variable(shape):
initial = tf.truncated_normal(shape, stddev=0.1)
return tf.Variable(initial)

根据给定的维度参数，初始化bias，初始值0.1

def bias_variable(shape):
initial = tf.constant(0.1, shape=shape)
return tf.Variable(initial)

卷积计算定义:
strides=[1,1,1,1]定义了卷积步长为1，
padding='SAME'定义了padding，在图像四周添加0，使得卷积后，大小和原来相同28*28

def conv2d(x, W):
    return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME')

2*2池化计算定义
ksize=[1, 2, 2, 1]定义了池化大小为2*2，
strides=[1, 2, 2, 1]定义了x方向步长为2，y方向步长为2，池化大小为2*2，所以，意思就是不重复的方式进行池化

def max_pool_2x2(x):
    return tf.nn.max_pool(x, ksize=[1, 2, 2, 1],strides=[1, 2, 2, 1], 
              padding='SAME')

获取MNIST数据集

mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)

定义输入参数x 784=28*28

x = tf.placeholder(tf.float32, shape=[None, 784])

定义输入参数y_

y_ = tf.placeholder(tf.float32, shape=[None, 10])

将x转成28*28的格式

x_image = tf.reshape(x, [-1, 28, 28, 1])

Layer1     第一卷积层 要获得32个特征图

定义第一个卷积层的w,卷积核大小是5*5,输入数据的特征图数量为1，该层输出数据的特征图数量为32，所以是5,5,1,32

W_conv1 = weight_variable([5, 5, 1, 32])

定义第一个卷积层的b,因为一个特征图内偏置共享（参考CNN的理论说明），所以b的个数与输出数据的特征图数量相同32

b_conv1 = bias_variable([32])

卷积计算，之后的结果，使用relu作为激活函数再计算 输出结果应该是282832(特征图数)

h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1)

Layer2 第一池化层

池化计算 输出结果应该是141432，参考上面max_pool_2x2方法的说明

h_pool1 = max_pool_2x2(h_conv1)

Layer3 第二卷积层 要获得64个特征图
定义第二个卷积层的w,卷积核大小是5*5,输入数据（上一层的输出数据）的特征图数量为1，该层输出数据的特征图数量为32，所以是5,5,32,64

W_conv2 = weight_variable([5, 5, 32, 64])

定义第二个卷积层的b,因为一个特征图内偏置共享（参考CNN的理论说明），所以b的个数与输出数据的特征图数量相同64

b_conv2 = bias_variable([64])

卷积计算，之后的结果，使用relu作为激活函数再计算 输出结果应该是282864(特征图数)

h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2)

Layer4 第二池化层
池化计算 输出结果应该是7764，参考上面max_pool_2x2方法的说明

h_pool2 = max_pool_2x2(h_conv2)

把结果转成一个数组形式的，相当于有3133=7764个特征值

h_pool2_flat = tf.reshape(h_pool2, [-1, 7*7*64])

Layer5 第一全连接层 要获得1024个特征《值》，是值...是值...(重要的事情说三遍)

前一层的特征数3133=7764,想要获得1024个特征，因为是全连结，所以是[7 7 64, 1024]

W_fc1 = weight_variable([7 * 7 * 64, 1024])

和普通的神经网络一样，想要获得1024个特征值，所以每一个都要有一个偏置，所以是1024

b_fc1 = bias_variable([1024])

神经网络的正向传播，结果使用relu作为激活函数再计算(不懂的请参照最基本的神经网络学习吧)

h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1)

Layer6 Dropout层
定义结果保留率

keep_prob = tf.placeholder(tf.float32)

将一部分结果舍弃(防止过拟合)，即dropout

h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)

Layer7 第二全连接层 要获得10个特征《值》，至于为什么是10，因为0123456789一共十个数字.....

参考第一全连接层

W_fc2 = weight_variable([1024, 10])

参考第一全连接层

b_fc2 = bias_variable([10])

参考第一全连接层 正向传播

y_conv = tf.matmul(h_fc1_drop, W_fc2) + b_fc2

定义交叉熵的计算方式 这里是softmax交叉熵

cross_entropy = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y_, logits=y_conv))

定义梯度，学习率，最小化熵的梯度求解

train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)

定义正确预测的判定
correct_prediction = tf.equal(tf.argmax(y_conv, 1), tf.argmax(y_, 1))

计算准确率

accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

Session

with tf.Session() as sess:

初始化全局变量

sess.run(tf.global_variables_initializer())

定义训练次数20000

for i in range(20000):

获取下50条数据作为batch训练数据，变相定义batch大小50

batch = mnist.train.next_batch(50)

每一百步，输出准确率

if i % 100 == 0:
    train_accuracy = accuracy.eval(feed_dict={x: batch[0], y_: batch[1], keep_prob: 1.0})
    print('step %d, training accuracy %g' % (i, train_accuracy))

使用batch训练数据进行训练，保留率50%

train_step.run(feed_dict={x: batch[0], y_: batch[1], keep_prob: 0.5})

输出测试数据，准确率

print('test accuracy %g' % accuracy.eval(feed_dict={
x: mnist.test.images, y_: mnist.test.labels, keep_prob: 1.0}))

转载请注明出处:
www.soaringroad.com