在神经网络训练中,损失函数或者是识别率不收敛,其原因大致有如下几种:
1.数据没有进行归一化操作,或者归一化的“量不够”**
2.输入的数据分布过于离散,没有进行预处理**
3.输出的结果没有核查,有相同的输出**
4.网络结构中的激活函数的问题,可以替换激活函数我**
5.在网络结构中,批次训练的时候使用了较大的Batch Size**
6.网络的学习率不符合实际的运用,可尝试更改网络的学习率**
7.网络结构中,梯度运算过程中出现了过大或过小的值**
8.网络结构中隐含层的层数以及神经元的数量不符合实际运用。**
9.网络结构中,权重在开始训练的时候是不符合实际的,没有初始化**
10.网络结构过于复杂,而自己的问题比较简单,计算冗余太多**
11.网络结构中缺乏正则化过程**