1 问题
对模型进行训练后,测试集测试的结果与真实值之间的占比称为准确率,准确率往往是评估网络的一个重要指标。而用同一数据集训练神经网络,每次训练得到的准确率结果却不一样并且准确率都较低,最高仅67%,那如何才能提高训练后的准确率呢?
2 方法
模型的参数是随机的,所以导致每次训练出的准确率不一样。虽然每次训练得到的准确率不同,但是都在65%左右,准确率较低。参数优化、数据处理等方法可以提高其准确率,本文采用的方法是训练网络时训练多个epoch(周期)。
def train(dataloader, net, loss_fn, optimizer): net.train() for batch_idx, (X,y) in enumerate(dataloader): pred = net(X) loss = loss_fn(pred, y) optimizer.zero_grad() loss.backward() optimizer.step() #训练5个周期epoch for epoch in range(5): train(train_loader, net, loss_fn, optimizer) |
结果如下:
可以看到在训练了5个epoch后准确率提高到了79%。
将epoch增加到75时,准确率则提高到了90%。
为什么增加epoch的数量可以提高训练数据集的准确率呢?
epoch中文译为“时期”。1个epoch等于使用训练集中的全部样本训练一次。在神经网络中传递完整的数据集一次是不够的,而且需要将完整的数据集在同样的神经网络中传递多次。如下图所示。因此仅仅更新一次或者说使用一个epoch是不够的。
随着epoch数量增加,神经网络中的权重的更新次数也在增加,曲线从欠拟合变得过拟合。
因此在一定范围内增加epoch的数量可以提高训练数据集的准确率,不过对于不同的数据集,合适的epoch数量是不一样的,但是数据的多样性会影响合适的epoch的数量。
3 结语
针对提高Minst数据集训练模型的准确率的问题,本文采用了训练多个epoch来提高其准确率,并通过实验验证该方法确能提高准确率,但运行时间会随epoch的数量而增长,且准确率只能达到91%左右,所以只通过增加训练epoch的数量来提高准确率是完全不够的,还需结合参数优化等方法来提高训练模型的准确率