不同的batch_size对训练集和验证集的影响

简介: 不同的batch_size对训练集和验证集的影响

1 问题

我们知道,不同的batch_size对我们的训练集和验证集得出结果的精度和loss都会产生影响,是设置batch_size越大我们得到的精度越好,loss越好。还是batch_size越小我们得到的精度越好,loss越好呢?


2 方法

我们使用的是python的可视化技术进行问题的探究,我们需要在图像中看到当batch_size由小到大的过程中对训练集精度和loss以及验证集的精度和loss值的变化曲线。

利用python画出的batch_size对训练集精度的影响,我们可以在下图中看见并不是batch_size越大,我们的训练集精度就越好,在我给出的这几个batch_size中8才是最好的。

下图就是不同的batch_size对训练集loss的变化

下图是不同的batch_size对验证集精度的变化

下图是不同的batch_size对验证集loss的变化

其中画图的工具就是用python中matplotlib.pyplot模块,该模块中也有很多的画图的函数,可以画各种各样的可视化图形。


3 结语

在本次的博客中,我们通过实验证明了我们设置的batch_size并不是越大越好,也不是越小越好,做这样的验证,而是其中有一些值会趋近很好,这样我们就需要通过大量的实验来证明,在实验的过程中,我们使用的程序就需要执行很久,这也是需要占用我们时间资源。

目录
相关文章
|
3月前
|
机器学习/深度学习 算法 C++
C++多态崩溃问题之为什么在计算梯度下降时需要除以批次大小(batch size)
C++多态崩溃问题之为什么在计算梯度下降时需要除以批次大小(batch size)
|
3月前
|
Python
Fama-French模型,特别是三因子模型(Fama-French Three-Factor Model)
Fama-French模型,特别是三因子模型(Fama-French Three-Factor Model)
|
5月前
|
机器学习/深度学习 并行计算 数据可视化
Batch Size 对神经网络训练的影响
Batch Size 对神经网络训练的影响
73 0
|
机器学习/深度学习 算法 算法框架/工具
深度学习中epoch、batch、batch size和iterations详解
深度学习中epoch、batch、batch size和iterations详解
383 0
|
5月前
|
机器学习/深度学习 算法 定位技术
神经网络epoch、batch、batch size、step与iteration的具体含义介绍
神经网络epoch、batch、batch size、step与iteration的具体含义介绍
312 1
|
11月前
|
机器学习/深度学习 PyTorch 算法框架/工具
base model初始化large model,造成的参数矩阵对不上权重不匹配问题+修改预训练权重形状和上采样
base model初始化large model,造成的参数矩阵对不上权重不匹配问题+修改预训练权重形状和上采样
186 0
|
机器学习/深度学习 数据可视化 数据挖掘
0参数量 + 0训练,3D点云分析方法Point-NN刷新多项SOTA(2)
0参数量 + 0训练,3D点云分析方法Point-NN刷新多项SOTA
258 0
|
机器学习/深度学习 数据可视化 计算机视觉
0参数量 + 0训练,3D点云分析方法Point-NN刷新多项SOTA(1)
0参数量 + 0训练,3D点云分析方法Point-NN刷新多项SOTA
119 0
|
机器学习/深度学习 数据可视化 Python
batch_size对精确度和损失的影响
batch_size对精确度和损失的影响
280 0
|
PyTorch 算法框架/工具
如何将x_data和y_data利用torch转换成小批量数据,并要求打乱数据,以及将数据标准化或者归一化,如何处理?
以上代码中,在定义预处理操作transform时,只在Normalize函数的第一个参数中传入x_data的均值和标准差,而在第二个参数中传入空元组,表示不对y_data进行标准化。 接着,将标准化后的x_data和原始的y_data转换为张量格式,并将它们合并为一个TensorDataset对象。最后,定义dataloader对象,设置batch_size和shuffle参数,并使用上述数据集对象作为输入数据。
313 0