什么是Adagrad Decay Optimizer？
什么是Adagrad Decay Optimizer？
展开
收起
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
1
条回答
写回答
-
为支持超大规模训练而提出的一种改进版Adagrad优化器。当模型训练的样本量大，同时持续增量训练较长时间时，Adagrad优化器的梯度会趋近于0，导致新增训练的数据无法对模型产生影响。已有的累积打折的方案虽然可以解决梯度趋近0的问题，但也会带来模型效果变差的问题（通过iteration打折策略无法反映实际的业务场景特点）。Adagrad Decay Optimizer基于周期打折的策略，同一个周期内的样本相同的打折力度，兼顾数据的无限累积和样本顺序对模型的影响。
2022-04-19 16:16:15赞同 展开评论
相关问答
