实践

最近这几个例子，最后都有一个评估模型的过程，然后怎么评估呢，就是通过画loss图，所以研究一下这个loss图是啥

loss图

什么是loss曲线

loss曲线能够反映网络训练的动态趋势，通过观察loss曲线，可以得到模型是否收敛、是否过拟合等信息。

loss曲线怎么画呢？一般通过loss函数（损失函数）来画

什么是损失函数（loss function）

损失函数（loss function）就是用来度量模型的预测值f(x)与真实值Y的差异程度的运算函数，它是一个非负实值函数，通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。

什么是鲁棒性

鲁棒是Robust的音译，也就是健壮和强壮的意思。

常用的loss函数

可以参考这篇文章，写的很详细：模型训练——Loss函数

怎么用loss呢

举个例子，今天的例子中，在创建模型的时候，就已经指定了loss函数用哪个（交叉熵）。

model.compile(optimizer="adam",
                loss='sparse_categorical_crossentropy',
                metrics=['accuracy'])

指定好之后，最后只需要用画图软件画出来就可以了，也就是：

acc = train_model.history['accuracy']
val_acc = train_model.history['val_accuracy']
loss = train_model.history['loss']
val_loss = train_model.history['val_loss']
epochs_range = range(len(acc))
plt.figure(figsize=(12, 4))
plt.subplot(1, 2, 1)
plt.plot(epochs_range, acc, label='Training Accuracy')
plt.plot(epochs_range, val_acc, label='Validation Accuracy')
plt.legend(loc='lower right')
plt.title('Training and Validation Accuracy')
plt.subplot(1, 2, 2)
plt.plot(epochs_range, loss, label='Training Loss')
plt.plot(epochs_range, val_loss, label='Validation Loss')
plt.legend(loc='upper right')
plt.title('Training and Validation Loss')
plt.show()

loss图的效果判断

首先根据模型的表现我们把它分成三类：

• Underfit（欠拟合）

这种情况的特点是在训练结束时候training loss还在继续下降，这说明还有学习空间，模型还没来得及学就结束了。

• Overfit（过拟合）

overffit时候training loss一直在不断地下降，而validation loss在某个点开始不再下降反而开始上升了，这就说明overfit，我们应该在这个拐点处停止训练。

• Good fit （完美拟合）

两个loss曲线都开始收敛，而且两者之间并没有肉眼的差距。 通常traing loss会更小，这样他们之间就会有个gap，这个gap叫做generalization gap。