epochs,batches,dropout是什么?

简介: epochs,batches,dropout是什么?

最近几天刚接触了深度学习方法的3D人脸识别,整个人懵懵的,好多名词初次见面,没有专业的课本定义,所以,也是从各位博主的总结中学习,一点点积累,方便日后查看。也就不拐弯抹角了,单刀直入主题。

epochs:当一个完整的数据集通过了神经网络一次并且返回了一次,这个过程称为一个 epoch。

然而,当一个 epoch 对于计算机而言太庞大的时候,就需要把它分成多个小块。

为什么要使用多于一个 epoch?

在神经网络中传递完整的数据集一次是不够的,而且我们需要将完整的数据集在同样的神经网络中传递多次。但是请记住,我们使用的是有限的数据集,并且我们使用一个迭代过程即梯度下降。因此仅仅更新权重一次或者说使用一个 epoch 是不够的。

 

batches:在不能将数据一次性通过神经网络的时候,就需要将数据集分成几个 batch。(类比一下mini-batch gradient descent)

 

dropout:网络结构中会有dropout layer,可以把dropout理解为 模型平均,或者可以这么理解,这n个网络,它们权值共享,并且具有相同的网络层数(这样可以大大减小计算量)。我们每次dropout后,网络模型都可以看成是整个网络的子网络。(需要注意的是如果采用dropout,训练时间大大延长,但是对测试阶段没影响)。

就目前所知,它可以防止过拟合,提高网络的泛化能力。

dropout就是下面的的过程欸,好吧,我们一起学习~~~

 

感谢大神们的总结: http://www.dataguru.cn/article-12193-1.html

                                https://blog.csdn.net/amds123/article/details/69945787

目录
相关文章
|
2月前
|
机器学习/深度学习 资源调度 监控
PyTorch使用Tricks:Dropout,R-Dropout和Multi-Sample Dropout等 !!
PyTorch使用Tricks:Dropout,R-Dropout和Multi-Sample Dropout等 !!
36 0
|
1月前
|
机器学习/深度学习 Python
ReLU
本文探讨了高等数学中ReLU(修正线性单元)在神经网络的应用。ReLU函数定义为$f(x) = \max(0, x)$,其导数为$1$($x \geq 0$)或$0$($x < 0$)。适用于除二分类问题外的其他问题。Python代码展示了ReLU及其导数的图形绘制。
16 1
|
1月前
|
机器学习/深度学习 Python
leaky ReLU
本文探讨了高等数学中的leaky ReLU激活函数,其在神经网络中的应用。函数定义为:当$x\geq0$时,$f(x)=x$;当$x<0$时,$f(x)=\lambda x$,其中$\lambda\in(0,1)$是泄露率。导数为:$x\geq0$时,$f'(x)=1$;$x<0$时,$f'(x)=\lambda$。文中还提供了leaky ReLU的Python实现和图像展示。
24 2
|
2月前
|
机器学习/深度学习 人工智能 PyTorch
基于torch.nn.Dropout通过实例说明Dropout丢弃法(附代码)
基于torch.nn.Dropout通过实例说明Dropout丢弃法(附代码)
51 0
|
机器学习/深度学习 PyTorch 算法框架/工具
pytorch中nn.ReLU()和F.relu()有什么区别?
pytorch中nn.ReLU()和F.relu()有什么区别?
411 0
|
机器学习/深度学习 资源调度
深度学习基础入门篇[四]:激活函数介绍:tanh、sigmoid、ReLU、PReLU、ELU、softplus、softmax、swish等
深度学习基础入门篇[四]:激活函数介绍:tanh、sigmoid、ReLU、PReLU、ELU、softplus、softmax、swish等
深度学习基础入门篇[四]:激活函数介绍:tanh、sigmoid、ReLU、PReLU、ELU、softplus、softmax、swish等
|
机器学习/深度学习 存储 人工智能
Dropout Reduces Underfitting论文解读
Dropout Reduces Underfitting论文解读
90 0
|
机器学习/深度学习 PyTorch 算法框架/工具
【PyTorch】nn.ReLU()与F.relu()的区别
【PyTorch】nn.ReLU()与F.relu()的区别
120 0
|
机器学习/深度学习 并行计算 PyTorch
SMU激活函数 | 超越ReLU、GELU、Leaky ReLU让ShuffleNetv2提升6.22%
SMU激活函数 | 超越ReLU、GELU、Leaky ReLU让ShuffleNetv2提升6.22%
197 0
|
机器学习/深度学习 人工智能 自然语言处理
【Pytorch神经网络理论篇】 07 激活函数+Sigmoid+tanh+ReLU+Swish+Mish+GELU
对于分类任务来说,如果仅仅给出分类的结果,在某些场景下,提供的信息可能并不充足,这就会带来一定的局限。因此,我们建立分类模型,不仅应该能够进行分类,同时,也应该能够提供样本属于该类别的概率。这在现实中是非常实用的。例如,某人患病的概率,明天下雨概率等。因此,我们需要将z的值转换为概率值,逻辑回归使用sigmoid函数来实现转换。
528 0