Optimizer

tensorflow中一共有如下几种optimizer：

tf.train.GradientDescentOptimizer：梯度下降法

tf.train.AdadeltaOptimizer

tf.train.AdagradOptimizer

tf.train.AdagradDAOptimizer

tf.train.MomentumOptimizer
tf.train.AdamOptimizer

tf.train.FtrlOptimizer

tf.train.ProximalGradientDescentOptimizer

tf.train.ProximalAdagradOptimizer

tf.train.RMSPropOptimizer

红色为常用

各种优化器对比：

标准梯度下降法：标准梯度下降先计算所有样本汇总误差，然后根据总误差来更新权值随机梯度下降法：随机梯度下降随机抽取一个样本来计算误差，然后更新权值批量梯度下降法：批量梯度下降算是一种折中的方案，从总样本中选取一个批次（比如一共有10000个样本，随机选取100个样本作为一个batch），然后计算这个batch的总误差，根据总误差来更新权值。

下图为一个梯度下降法的示意图：

W：要训练的参数     J（W）：代价函数

即代价函数对W求导

SGD:随机梯度下降法

Momentum：

NAG（Nesterov acclerated gradient）:

Adagrad:

基于随机梯度下降法。

观察公式，比如抽到的狗的照片越多，分母越大，学习率越小。

它很适合应用于数据稀疏的数据集

RMSprop:

RMS是均方根的缩写。（Root Mean Square）

Adadelta:

Adam:

更新参数的部分跟Adadelta和RMS类似。

各个优化器的特点：

SGD缺点：

1,（正因为有这些缺点才让这么多大神发展出了后续的各种算法）选择合适的learning rate比较困难 - 对所有的参数更新使用同样的learning rate。对于稀疏数据或者特征，有时我们可能想更新快一些对于不经常出现的特征，对于常出现的特征更新慢一些，这时候SGD就不太能满足要求了

2,SGD容易收敛到局部最优，并且在某些情况下可能被困在鞍点

Momentum特点：

1. 下降初期时，使用上一次参数更新，下降方向一致，乘上较大的能够进行很好的加速
2. 下降中后期时，在局部最小值来回震荡的时候，使得更新幅度增大，跳出陷阱
3. 在梯度改变方向的时候，能够减少更新 总而言之，momentum项能够在相关方向加速SGD，抑制振荡，从而加快收敛

Nesterov：

1. nesterov项在梯度更新时做一个校正，避免前进太快，同时提高灵敏度

Adagrad特点：

1. 前期GT较小的时候， regularizer较大，能够放大梯度
2. 后期GT较大的时候，regularizer较小，能够约束梯度
3. 适合处理稀疏梯度

缺点：

1. 由公式可以看出，仍依赖于人工设置一个全局学习率
2. 设置过大的话，会使regularizer过于敏感，对梯度的调节太大
3. 中后期，分母上梯度平方的累加将会越来越大，使得训练提前结束

Adadelta特点：

1. 训练初中期，加速效果不错，很快
2. 训练后期，反复在局部最小值附近抖动

RMSprop特点：

1. 其实RMSprop依然依赖于全局学习率
2. RMSprop算是Adagrad的一种发展，和Adadelta的变体，效果趋于二者之间
3. 适合处理非平稳目标 - 对于RNN效果很好

Adam

     Adam(Adaptive Moment Estimation)本质上是带有动量项的RMSprop，它利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率。Adam的优点主要在于经过偏置校正后，每一次迭代学习率都有个确定范围，使得参数比较平稳。

特点：

1. 结合了Adagrad善于处理稀疏梯度和RMSprop善于处理非平稳目标的优点
   
2. 对内存需求较小
   
3. 为不同的参数计算不同的自适应学习率
   
4. 也适用于大多非凸优化 - 适用于大数据集和高维空间
   

Adamax：学习率的边界范围更简单

Nadam：

          对学习率有了更强的约束，同时对梯度的更新也有更直接的影响。一般而言，在想使用带动量的RMSprop，或者Adam的地方，大多可以使用Nadam取得更好的效果。

经验之谈：

• 对于稀疏数据，尽量使用学习率可自适应的优化方法，不用手动调节，而且最好采用默认值
• SGD通常训练时间更长，但是在好的初始化和学习率调度方案的情况下，结果更可靠
• 如果在意更快的收敛，并且需要训练较深较复杂的网络时，推荐使用学习率自适应的优化方法。
• Adadelta，RMSprop，Adam是比较相近的算法，在相似的情况下表现差不多。
• 在想使用带动量的RMSprop，或者Adam的地方，大多可以使用Nadam取得更好的效果

八、优化器在TensorFlow中的应用

使用的代码基于交叉熵时的代码。

import tensorflow as tf
import numpy as np
from tensorflow.examples.tutorials.mnist import input_data
#读取mnist数据集 如果没有则会下载
mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)
#每个批次的大小
batch_size = 100
#计算一共有多少批次
n_batch = mnist.train.num_examples // batch_size
#定义两个占位符
x = tf.placeholder(tf.float32,[None,784])
y = tf.placeholder(tf.float32,[None,10])
#创建简单的神经网络
#群值
W = tf.Variable(tf.zeros([784,10]))
#偏置值
b = tf.Variable(tf.zeros([10]))
#预测值
prediction = tf.nn.softmax(tf.matmul(x,W)+b)
#二次代价函数
#loss = tf.reduce_mean(tf.square(y-prediction))
loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y,logits=prediction))
#使用梯度下降法
#train_step = tf.train.GradientDescentOptimizer(0.3).minimize(loss)
train_step = tf.train.AdamOptimizer(1e-2).minimize(loss)
#初始化变量
init = tf.global_variables_initializer()
#预测数据与样本比较，如果相等就返回1 求出标签
#结果存放在布尔型列表中
correct_prediction = tf.equal(tf.argmax(y,1),tf.argmax(prediction,1))#argmax返回一维张量中最大的值所在的位置
#求准确率
accuracy = tf.reduce_mean(tf.cast(correct_prediction,tf.float32))
#进行训练
with tf.Session() as sess:
    sess.run(init)
    for i in range(21):#周期
        for batch in range(n_batch):#批次
            batch_xs, batch_ys = mnist.train.next_batch(batch_size)
            sess.run(train_step,feed_dict={x:batch_xs,y:batch_ys})
        acc = sess.run(accuracy,feed_dict={x:mnist.test.images,y:mnist.test.labels})
        print("周期 ："+ str(i) + "准确率：" +  str(acc))