开发者社区> 技术小能手> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

从AlexNet到胶囊网络,CNN这五年(视频详解)

简介:
+关注继续查看

今年11月7日,Geoffrey Hinton老爷子发表了“Dynamic Routing Between Capsules”的论文,提出了“胶囊网络”,胶囊网络在MNIST手写数字识别上的表现超过了CNN,一时引发了热议

毕竟,如果Hinton说这玩意儿好用,那它很有可能真的好用!

600cbb9a22bab3c21dae74f16b50bb9e27a909a5

Hinton现任加拿大多伦多大学教授,同时是谷歌大脑在加拿大的负责人。听起来好像没啥特别的 (⊙ˍ⊙)

不过随便一搜,1947年出生的他有各种头衔加持:”深度学习之父“、”开山鼻祖“……对,他就是在80年代就提出了反向传播算法不久前又选择抛弃它的那个老头

5f63e45017845c1e772501e4521c9835c64d02b3

左起Yann LeCun,Geoffrey Hinton,Yoshua Bengio,Andrew Ng(图片来自吴恩达Facebook页面)

第一波推动CNN应用的Yann LeCun(Facebook人工智能实验室主任、纽约大学教授),就是Hinton的博士后。

此外,据传伯克利的Michael I.Jordan教授(吴恩达的导师)当年申请Hinton的博士后没有被录取⊙o⊙ Michael I.Jordan教授不久前曾到清华大学授课,点这里查看独家听课笔记

9d161e1c775a0546e7a80c47a0c1507336c8b6c4

那么,胶囊网络到底有什么特别呢?为什么Hinton认为它比CNN还牛?

大数据文摘字幕组经授权翻译了YouTube网红Siraj Raval的一段详解胶囊网络的视频,试图从CNN的历史沿革开始,通过几次大的性能提升告诉你胶囊网络和此前的CNN有什么不同

让我们先来看一张大图。

940e10f55ee203b9705f9b28ec4fd4b318bf4027

图:物体识别简明史,来源见文末。

虽然相关算法80年代就已经提出,让神经网络这一玩儿法真正进入了人们的视野的,是数据量和算力极大扩充之后,在2012年横扫ImageNet比赛的AlexNet。AlexNet加入了ReLU和Dropout的概念,从而解决了权值消失的问题,并能防止过拟合

在这之后一个大的提升是VGG网络,它增加了很多很多层(^._.^)ノ

再然后,GoogleNet在一个层的输入上进行了多个不同内核大小的卷积操作,最后把这些操作的结果连接起来,作为下一层的输入。

在这之后是ResNet。ResNet的思想是,如果我们不断的叠加网络,接下来如果你继续添加更多的层,网络性能会开始下降。那么就在每两层后加入一个加法运算,这样就改善了梯度消失的问题。

383030a0ad3ee69b3e7a1664748eeef7594f2c79

网络被设计得越来越深了,但卷积神经网络在识别带有旋转角度、颠倒等”不正常“的图片时表现特别不好。我们需要一个更加泛化的算法。这对目前无人驾驶的应用来说尤为重要——我们不能总是期待图像是正着出现的。

c844d2933691c294237f7d26f3862a6a3014dc74

卡戴珊的眼睛和嘴互换位置,这张图仍被CNN识别为“person”

于是,我们有了Hinton的胶囊网络。它可以被理解为“张量神经元”,即输入和输出都是张量

更多关于胶囊网络的详细解释

请点击观看视频

时长22分钟

51a01a878d8e4370547123921e7bdbdf646988a2


原文发布时间为:2017-12-22

本文作者:文摘菌

本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“大数据文摘”微信公众号

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
WPF扑克牌之红桃K
原文:WPF扑克牌之红桃K 有些什么用途呢?我想,如果你有兴趣,可用来制作WPF扑克牌游戏。 没有任何技术含量,需要做的是在Blend中绘图或者使用Illustrator,CoreDraw等矢图设计软件绘图,然后转换成XAML格式。
1284 0
mod_jk 内部结构
1、mod_jk模块的总体功能 由于tomcat的HTTP处理部分都由Java所写(5.5.12版本以后出现了native库,用以提高其I/O和SSL的性能[1]),在高并发的情况下负载较高。
1298 0
MyEclipse 一直 initializing java tooling
 MyEclipse启动故障-Initializing Java Tooling最近安装新系统后,重新安装了JDK,然后启动以前安装的MyEclipse8.0后,右下角提升“Initializing Java Tooling,进度1%”,而且长时间进度不变。
727 0
MyEclipse配置JDK的详细方法
MyEclipse和JAVA的各个版本可能有一点不同,但是万变不离其宗,在这里小弟用的是MyEclipse7.0和JDK1.7.0,现在就给朋友们讲解一下MyEclipse配置JDK的方法。  首先打开MyEclipse然后在工具栏上找到window --> preferences 大家会...
733 0
Java网络编程从入门到精通(1):Internet地址概述
本文为原创,如需转载,请注明作者和出处,谢谢! 所有连入Internet的终端设备(包括计算机、PDA、打印机以及其他的电子设备)都有一个唯一的索引,这个索引被称为IP地址。
952 0
+关注
技术小能手
云栖运营小编~
7194
文章
9
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载