优化算法包含很多种，如果按梯度类型进行划分，可以分为有梯度优化算法和无梯度优化算法，在大多数人工智能技术中常用有梯度优化算法，当然也会有些场景也会用到无梯度优化算法，比如在强化学习中会用到黑盒优化算法cma-es、贝叶斯优化等，有些时候也会用到遗传算法和粒子群优化算法。本文主要讲解机器学习\深度学习中一些常用的优化算法，梯度下降法、动量法momentum、Adagrad、RMSProp、Adadelta、Adam，介绍不同算法之间的关联和优缺点，后续会继续分享其他的算法，如果需要这些算法的文章，我已经整理好，需要的话可以关注微信公众号回复"opt"获取，如果觉得不错记得分享一下啊，表示对我这每天下班后加班加点整理内容的支持
上述介绍的就是深度学习\机器学习中常用的有梯度优化算法，有不足之处欢迎指正，欢迎在评论区讨论，如果有人工智能学习相关的疑惑也可以直接私信我，会在看到消息的第一时刻给予回复，如果觉得分享的只是有价值，麻烦转发扩散一下，分享给更多人，谢谢。
