深度学习:深度学习:Nan与Inf是如何造成的?
Nan
通常来说是梯度除以0了。(not a number)
Inf
表示数据过大,通常来说是learning rate 太大,或者权重初始化的时候太大,导致后面炸掉了。
通用解决办法
合理设置learning rate,不要太大。
合理权重初始化。
合理选择激活函数。
########
通常来说是梯度除以0了。(not a number)
表示数据过大,通常来说是learning rate 太大,或者权重初始化的时候太大,导致后面炸掉了。
合理设置learning rate,不要太大。
合理权重初始化。
合理选择激活函数。
########