简单理解dropout

简介: dropout是CNN(卷积神经网络)中的一个trick,能防止过拟合。关于dropout的详细内容,还是看论文原文好了:Hinton, G. E., et al. (2012). "Improving neural networks by preventing co-adaptation of feature detectors." arXiv preprint arXiv:1207.0580.我这里简单理解为:dropout相当于同时搞了多个CNN网络,然后取它们的平均。

dropout是CNN(卷积神经网络)中的一个trick,能防止过拟合。

关于dropout的详细内容,还是看论文原文好了:
Hinton, G. E., et al. (2012). "Improving neural networks by preventing co-adaptation of feature detectors." arXiv preprint arXiv:1207.0580.

我这里简单理解为:dropout相当于同时搞了多个CNN网络,然后取它们的平均。但是形式上呢,我们只看到一个CNN网络。那怎么平均呢?比如在某一个全连接层上搞dropout,每个mini-batch过来和回去的时候,都是仅仅使用部分神经元。被选中的神经元也不是“关系户”,而是凭运气按照概率被选中的,而且也不存在“垄断”情况,下次随机的时候就可能是其他神经元了。

那么dropout有啥理论依据吗?个人认为比较靠谱的说法是,dropoup相当于bagging的一个特例,每个样本只有一个mini-batch的数据。anyway,如果你理解随机森林,那么你应该懂我的意思,这明显是用来防止过拟合的啊!

论文中的一些说法,总结下:

bagging->一个特例是dropout
dropout->一个特例是naive bayes

目录
相关文章
|
6月前
|
安全 算法 网络安全
SSL/TLS:构建数字世界的加密长城
**协议演进:从网景实验室到全球标准** 1994年,网景公司推出SSL协议,首次实现40位密钥加密传输,开启网络安全新纪元。此后,SSL 3.0、TLS 1.0相继问世,至2018年TLS 1.3将握手速度提升60%,强制前向加密确保历史会话安全。TLS协议通过非对称加密、对称加密和证书信任链等多层架构保障通信安全。2014年POODLE漏洞促使全行业禁用SSL 3.0,催生防降级机制。
|
6月前
|
JSON 监控 API
python语言采集淘宝商品详情数据,json数据示例返回
通过淘宝开放平台的API接口,开发者可以轻松获取商品详情数据,并利用这些数据进行商品分析、价格监控、库存管理等操作。本文提供的示例代码和JSON数据解析方法,可以帮助您快速上手淘宝商品数据的采集与处理。
|
监控 物联网 区块链
新技术趋势与应用:新兴技术的发展前景与实践探索
【5月更文挑战第25天】在21世纪的科技浪潮中,新兴技术如区块链、物联网、虚拟现实等正以前所未有的速度发展,引领着全球的创新潮流。这些技术不仅改变了我们的生活方式,也正在重塑着社会的运行模式。本文将深入探讨这些新兴技术的发展趋势和应用场景,以及它们如何影响我们的生活和社会。
|
存储 自然语言处理 索引
|
前端开发 JavaScript 定位技术
HTML中target的使用注意点
`target` 属性在 HTML 中主要用于 `<a>` 和 `<form>` 元素,指定链接打开或表单提交的位置。常见值包括 `_self`(当前窗口)、`_blank`(新窗口)、`_parent`(父框架)和 `_top`(整个窗口)。使用 `target="_blank"` 时应加 `rel="noopener noreferrer"` 以提高安全性。JavaScript 可动态设置 `target`,CSS 可增强样式。尽管 `target` 主要用于链接和表单,但在特定场景下也可应用于其他元素。
|
11月前
|
IDE 机器人 开发工具
基于ESP32的机器狗
基于ESP32的机器狗
263 0
|
Kubernetes 监控 开发者
|
人工智能 自然语言处理 文字识别
🚀AI来袭!职场办公效率跃升的秘密武器,你get了吗?
【8月更文挑战第1天】在科技飞速发展的时代,人工智能(AI)已成为职场提升效率的关键。从自动化日常任务如邮件处理(示例代码展示概念性的邮件自动回复脚本),到智能分析助力精准决策,再到运用OCR和NLP技术自动化文档处理提升协作效率,以及根据个人习惯提供个性化推荐优化工作流程。AI不仅大幅提高生产力,减少错误,还促进了更智能的工作方式,预示着一个更加精彩的职场未来。你准备好了吗?
223 0
|
安全 Unix Linux
CentOS介绍
【5月更文挑战第6天】CentOS介绍
1257 3
|
前端开发 Java
在springboot项目中实现将上传的jpg图片类型转为pdf并保存到本地
使用uniapp的uni.canvasToTempFilePath方法,将canvas内容转为jpg并上传至服务器。后端接收到jpg文件后,通过Java的PDFBox库进行处理。代码包括:选取画板内容为jpg,转换为临时文件路径,基于此路径生成File对象并上传,服务器端利用PDFBox处理上传的jpg文件。依赖:PDFBox 2.0.8。
236 3