Tensorflow中支持11中不同的优化器，包括：
tf.train.Optimizer
tf.train.GradientDescentOptimizer
tf.train.AdadeltaOptimizer
tf.train.AdagradOptimizer
tf.train.AdagradDAOptimizer
tf.train.MomentumOptimizer
tf.train.AdamOptimizer
tf.train.FtrlOptimizer
tf.train.RMSPropOptimizer
tf.train.ProximalAdagradOptimizer
tf.train.ProximalGradientDescentOptimizer
常用的主要有3种，分别是
（1） GradientDescent
optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss)
使用随机梯度下降算法，使参数沿着
梯度的反方向，即总损失减小的方向移动，实现更新参数。
（2） Momentum
optimizer = tf.train.MomentumOptimizer(learning_rate,momentum).minimize(loss)
在更新参数时，利用了超参数
其中，
β : the momentum
α : the learning rate
（3） Adam
optimizer = tf.train.AdamOptimizer(learning_rate=0.001, beta1=0.9, beta2=0.999, epsilon=1e-08).minimize(loss)
利用自适应学习率的优化算法（此时learning_rate传入固定值，不支持使用指数衰减方式），Adam 算法和随机梯度下降算法不同。随机梯度下降算法保持单一的学习率更新所有的参数，学习率在训练过程中并不会改变。而 Adam 算法通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率。
其中，
β 1 and β 2 are hyperparameters that control the two exponentially weighted averages.
α is the learning rate
ε is a very small number to avoid dividing by zero
