Optimizer
tensorflow中一共有如下几种optimizer：
tf.train.GradientDescentOptimizer：梯度下降法
tf.train.AdadeltaOptimizer
tf.train.AdagradOptimizer
tf.train.AdagradDAOptimizer
tf.train.MomentumOptimizer
tf.train.AdamOptimizer
tf.train.FtrlOptimizer
tf.train.ProximalGradientDescentOptimizer
tf.train.ProximalAdagradOptimizer
tf.train.RMSPropOptimizer
红色为常用
各种优化器对比：
标准梯度下降法：标准梯度下降先计算所有样本汇总误差，然后根据总误差来更新权值随机梯度下降法：随机梯度下降随机抽取一个样本来计算误差，然后更新权值批量梯度下降法：批量梯度下降算是一种折中的方案，从总样本中选取一个批次（比如一共有10000个样本，随机选取100个样本作为一个batch），然后计算这个batch的总误差，根据总误差来更新权值。
下图为一个梯度下降法的示意图：
W：要训练的参数 J（W）：代价函数
即代价函数对W求导
SGD:随机梯度下降法
Momentum：
NAG（Nesterov acclerated gradient）:
Adagrad:
基于随机梯度下降法。
观察公式，比如抽到的狗的照片越多，分母越大，学习率越小。
它很适合应用于数据稀疏的数据集
RMSprop:
RMS是均方根的缩写。（Root Mean Square）
Adadelta:
Adam:
更新参数的部分跟Adadelta和RMS类似。
各个优化器的特点：
SGD缺点：
1,（正因为有这些缺点才让这么多大神发展出了后续的各种算法）选择合适的learning rate比较困难 - 对所有的参数更新使用同样的learning rate。对于稀疏数据或者特征，有时我们可能想更新快一些对于不经常出现的特征，对于常出现的特征更新慢一些，这时候SGD就不太能满足要求了
2,SGD容易收敛到局部最优，并且在某些情况下可能被困在鞍点
Momentum特点：
- 下降初期时，使用上一次参数更新，下降方向一致，乘上较大的能够进行很好的加速
- 下降中后期时，在局部最小值来回震荡的时候，使得更新幅度增大，跳出陷阱
- 在梯度改变方向的时候，能够减少更新 总而言之，momentum项能够在相关方向加速SGD，抑制振荡，从而加快收敛
Nesterov：
- nesterov项在梯度更新时做一个校正，避免前进太快，同时提高灵敏度
Adagrad特点：
- 前期GT较小的时候， regularizer较大，能够放大梯度
- 后期GT较大的时候，regularizer较小，能够约束梯度
- 适合处理稀疏梯度
缺点：
- 由公式可以看出，仍依赖于人工设置一个全局学习率
- 设置过大的话，会使regularizer过于敏感，对梯度的调节太大
- 中后期，分母上梯度平方的累加将会越来越大，使得训练提前结束
Adadelta特点：
- 训练初中期，加速效果不错，很快
- 训练后期，反复在局部最小值附近抖动
RMSprop特点：
- 其实RMSprop依然依赖于全局学习率
- RMSprop算是Adagrad的一种发展，和Adadelta的变体，效果趋于二者之间
- 适合处理非平稳目标 - 对于RNN效果很好
Adam
Adam(Adaptive Moment Estimation)本质上是带有动量项的RMSprop，它利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率。Adam的优点主要在于经过偏置校正后，每一次迭代学习率都有个确定范围，使得参数比较平稳。
特点：
- 结合了Adagrad善于处理稀疏梯度和RMSprop善于处理非平稳目标的优点
- 对内存需求较小
- 为不同的参数计算不同的自适应学习率
- 也适用于大多非凸优化 - 适用于大数据集和高维空间
Adamax：学习率的边界范围更简单
Nadam：
对学习率有了更强的约束，同时对梯度的更新也有更直接的影响。一般而言，在想使用带动量的RMSprop，或者Adam的地方，大多可以使用Nadam取得更好的效果。
经验之谈：
- 对于稀疏数据，尽量使用学习率可自适应的优化方法，不用手动调节，而且最好采用默认值
- SGD通常训练时间更长，但是在好的初始化和学习率调度方案的情况下，结果更可靠
- 如果在意更快的收敛，并且需要训练较深较复杂的网络时，推荐使用学习率自适应的优化方法。
- Adadelta，RMSprop，Adam是比较相近的算法，在相似的情况下表现差不多。
- 在想使用带动量的RMSprop，或者Adam的地方，大多可以使用Nadam取得更好的效果
八、优化器在TensorFlow中的应用
使用的代码基于交叉熵时的代码。
import tensorflow as tf import numpy as np from tensorflow.examples.tutorials.mnist import input_data #读取mnist数据集 如果没有则会下载 mnist = input_data.read_data_sets("MNIST_data/", one_hot=True) #每个批次的大小 batch_size = 100 #计算一共有多少批次 n_batch = mnist.train.num_examples // batch_size #定义两个占位符 x = tf.placeholder(tf.float32,[None,784]) y = tf.placeholder(tf.float32,[None,10]) #创建简单的神经网络 #群值 W = tf.Variable(tf.zeros([784,10])) #偏置值 b = tf.Variable(tf.zeros([10])) #预测值 prediction = tf.nn.softmax(tf.matmul(x,W)+b) #二次代价函数 #loss = tf.reduce_mean(tf.square(y-prediction)) loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y,logits=prediction)) #使用梯度下降法 #train_step = tf.train.GradientDescentOptimizer(0.3).minimize(loss) train_step = tf.train.AdamOptimizer(1e-2).minimize(loss) #初始化变量 init = tf.global_variables_initializer() #预测数据与样本比较，如果相等就返回1 求出标签 #结果存放在布尔型列表中 correct_prediction = tf.equal(tf.argmax(y,1),tf.argmax(prediction,1))#argmax返回一维张量中最大的值所在的位置 #求准确率 accuracy = tf.reduce_mean(tf.cast(correct_prediction,tf.float32)) #进行训练 with tf.Session() as sess: sess.run(init) for i in range(21):#周期 for batch in range(n_batch):#批次 batch_xs, batch_ys = mnist.train.next_batch(batch_size) sess.run(train_step,feed_dict={x:batch_xs,y:batch_ys}) acc = sess.run(accuracy,feed_dict={x:mnist.test.images,y:mnist.test.labels}) print("周期 ："+ str(i) + "准确率：" + str(acc))
