不同的batch_size对训练集和验证集的影响

简介: 不同的batch_size对训练集和验证集的影响

1 问题

我们知道,不同的batch_size对我们的训练集和验证集得出结果的精度和loss都会产生影响,是设置batch_size越大我们得到的精度越好,loss越好。还是batch_size越小我们得到的精度越好,loss越好呢?


2 方法

我们使用的是python的可视化技术进行问题的探究,我们需要在图像中看到当batch_size由小到大的过程中对训练集精度和loss以及验证集的精度和loss值的变化曲线。

利用python画出的batch_size对训练集精度的影响,我们可以在下图中看见并不是batch_size越大,我们的训练集精度就越好,在我给出的这几个batch_size中8才是最好的。

下图就是不同的batch_size对训练集loss的变化

下图是不同的batch_size对验证集精度的变化

下图是不同的batch_size对验证集loss的变化

其中画图的工具就是用python中matplotlib.pyplot模块,该模块中也有很多的画图的函数,可以画各种各样的可视化图形。


3 结语

在本次的博客中,我们通过实验证明了我们设置的batch_size并不是越大越好,也不是越小越好,做这样的验证,而是其中有一些值会趋近很好,这样我们就需要通过大量的实验来证明,在实验的过程中,我们使用的程序就需要执行很久,这也是需要占用我们时间资源。

目录
相关文章
|
10月前
|
机器学习/深度学习 计算机视觉 网络架构
RT-DETR改进策略【模型轻量化】| 替换骨干网络 CVPR-2024 StarNet,超级精简高效的轻量化模块
RT-DETR改进策略【模型轻量化】| 替换骨干网络 CVPR-2024 StarNet,超级精简高效的轻量化模块
843 63
RT-DETR改进策略【模型轻量化】| 替换骨干网络 CVPR-2024 StarNet,超级精简高效的轻量化模块
|
10月前
|
机器学习/深度学习 人工智能 PyTorch
DeepSeek开源周第四弹之一!DualPipe:训练V3/R1的双向流水线并行技术,计算与训练完全重叠,训练效率提升200%
DeepSeek 开源的 DualPipe 技术通过双向流水线并行设计,显著提升大规模深度学习模型的训练效率,优化计算与通信重叠,降低内存峰值需求,适用于推理加速、多模态数据处理等场景。
787 1
DeepSeek开源周第四弹之一!DualPipe:训练V3/R1的双向流水线并行技术,计算与训练完全重叠,训练效率提升200%
|
机器学习/深度学习 资源调度 自然语言处理
长短时记忆网络(LSTM)完整实战:从理论到PyTorch实战演示
长短时记忆网络(LSTM)完整实战:从理论到PyTorch实战演示
18652 0
|
缓存
选择合适的CPU
【10月更文挑战第30天】选择合适的CPU
275 3
|
监控 数据挖掘 数据安全/隐私保护
ERP系统中的应收应付管理与风险控制解析
【7月更文挑战第25天】 ERP系统中的应收应付管理与风险控制解析
772 2
|
移动开发 数据可视化 算法
Pointnet语义分割任务S3DIS数据集
Pointnet语义分割任务S3DIS数据集
1471 0
|
机器学习/深度学习 PyTorch 算法框架/工具
SE 注意力模块 原理分析与代码实现
本文介绍SE注意力模块,它是在SENet中提出的,SENet是ImageNet 2017的冠军模型;SE模块常常被用于CV模型中,能较有效提取模型精度,所以给大家介绍一下它的原理,设计思路,代码实现,如何应用在模型中。
4524 0
|
机器学习/深度学习 计算机视觉 Python
YOLOv5改进系列(2)——添加CBAM注意力机制
YOLOv5改进系列(2)——添加CBAM注意力机制
11284 1
YOLOv5改进系列(2)——添加CBAM注意力机制
|
消息中间件 存储 运维
轻量级分布式事务实现:掌握最大努力通知方案
本文介绍了分布式事务的重要概念,特别是最大努力通知方案。最大努力通知是一种基于消息通知的分布式事务处理方式,通过异步通知确保最终一致性。方案包括事务消息发送、消息中间件持久化和最大努力通知三个步骤。虽然它实现简单、性能高且灵活,但可能无法保证强一致性,且存在重试和人工干预的成本。文中还提供了一个电商订单与库存系统同步的案例,并分析了该方案的优缺点。
437 1
|
SQL 定位技术 Android开发
分享119个Android手机应用源代码总有一个是你想要的
分享119个Android手机应用源代码总有一个是你想要的
1155 2

热门文章

最新文章