训练多个epoch来提高训练模型的准确率

简介: 训练多个epoch来提高训练模型的准确率

1 问题

对模型进行训练后,测试集测试的结果与真实值之间的占比称为准确率,准确率往往是评估网络的一个重要指标。而用同一数据集训练神经网络,每次训练得到的准确率结果却不一样并且准确率都较低,最高仅67%,那如何才能提高训练后的准确率呢?


2 方法

模型的参数是随机的,所以导致每次训练出的准确率不一样。虽然每次训练得到的准确率不同,但是都在65%左右,准确率较低。参数优化、数据处理等方法可以提高其准确率,本文采用的方法是训练网络时训练多个epoch(周期)。

def train(dataloader, net, loss_fn, optimizer):
   net.train()
   for batch_idx, (X,y) in enumerate(dataloader):
       pred = net(X)
       loss = loss_fn(pred, y)
       optimizer.zero_grad()
       loss.backward()
       optimizer.step()
#训练5个周期epoch
for epoch in range(5):
   train(train_loader, net, loss_fn, optimizer)

结果如下:

可以看到在训练了5个epoch后准确率提高到了79%。

将epoch增加到75时,准确率则提高到了90%。

为什么增加epoch的数量可以提高训练数据集的准确率呢?

epoch中文译为“时期”。1个epoch等于使用训练集中的全部样本训练一次。在神经网络中传递完整的数据集一次是不够的,而且需要将完整的数据集在同样的神经网络中传递多次。如下图所示。因此仅仅更新一次或者说使用一个epoch是不够的。

随着epoch数量增加,神经网络中的权重的更新次数也在增加,曲线从欠拟合变得过拟合。

因此在一定范围内增加epoch的数量可以提高训练数据集的准确率,不过对于不同的数据集,合适的epoch数量是不一样的,但是数据的多样性会影响合适的epoch的数量。


3 结语

针对提高Minst数据集训练模型的准确率的问题,本文采用了训练多个epoch来提高其准确率,并通过实验验证该方法确能提高准确率,但运行时间会随epoch的数量而增长,且准确率只能达到91%左右,所以只通过增加训练epoch的数量来提高准确率是完全不够的,还需结合参数优化等方法来提高训练模型的准确率

目录
相关文章
|
3月前
|
Python
模型训练
【8月更文挑战第20天】模型训练。
49 0
|
3月前
|
机器学习/深度学习
神经网络与深度学习---验证集(测试集)准确率高于训练集准确率的原因
本文分析了神经网络中验证集(测试集)准确率高于训练集准确率的四个可能原因,包括数据集大小和分布不均、模型正则化过度、批处理后准确率计算时机不同,以及训练集预处理过度导致分布变化。
|
3月前
|
机器学习/深度学习 自然语言处理 数据可视化
训练模型
【8月更文挑战第1天】
47 2
|
XML 数据挖掘 数据格式
|
网络安全 开发工具 网络架构
YOLOV7详细解读(四)训练自己的数据集
YOLOV7详细解读(四)训练自己的数据集
762 0
每日训练(五)
每日训练五,题目来源:牛客、力扣
每日训练(五)
|
算法 搜索推荐
每日训练(二)
每日训练(二),题目来源:力扣,PTA。
每日训练(二)
每日训练(一)
题目来源于PTA基础编程和力扣剑指offer
每日训练(一)