PredNet --- Deep Predictive coding networks for video prediction and unsupervised learning --- 论文笔记-阿里云开发者社区

开发者社区> wangxiaocvpr> 正文

PredNet --- Deep Predictive coding networks for video prediction and unsupervised learning --- 论文笔记

简介: PredNet --- Deep Predictive coding networks for video prediction and unsupervised learning   ICLR 2017  2017.03.12    Code and video examples can be found at: https://coxlab.github.io/prednet/   摘要:基于监督训练的深度学习技术取得了非常大的成功,但是无监督问题仍然是一个未能解决的一大难题(从未标注的数据中学习到一个领域的结构)。
+关注继续查看

PredNet --- Deep Predictive coding networks for video prediction and unsupervised learning   ICLR 2017 

2017.03.12 

 

Code and video examples can be found at: https://coxlab.github.io/prednet/

 

摘要:基于监督训练的深度学习技术取得了非常大的成功,但是无监督问题仍然是一个未能解决的一大难题(从未标注的数据中学习到一个领域的结构)。本文探索了无监督学习中关于 video prediction 的问题。设计了一种 “PredNet”结构,实现了该项工程,并且得到了非常喜人的实验结果。实验结果表明:预测代表了一种非常强大的无监督学习框架,可以潜在的学习到物体或者场景结构。 

 

网络设计:

  

  如上图所示的流程,是有一系列的模块堆叠在一起产生的。该网络首先进行局部预测,然后减去真实的输入,传到下一层。

  简单的说,每个模块可以分为 4 个部分:

  1. 一个输入卷积层 $A_l$ 

  2. 循环表示层 $R_l$

  3. 预测层 $\hat{A}_l $

  4. 误差表示层 $E_l$

 

   $R_l$ 是一个循环卷积网络产生一个预测 A^l,layer的输入是 Al。网络计算 Al 和 A^l 的不同,然后输出一个误差表示 El, 分为单独修正的 positive 和 negative error 传递。将该误差 El 传递给卷积层,作为下一层的输入 $A_{l+1}$。$R_l$ 模块有两个输入,分别来自于:直接拷贝过来的 El,以及 下一层 $R_{l+1}$ 的输入。

  这个网络可以分为两个最重要的部分来看,左边 Rl 部分是循环产生式反卷积网络;右边 Al 和 El 是标准的深度卷积网络。

 

 

  该模型训练的目标是:minimize the weighted sum of the firing rates of the error units. 此处的 error units 类似于 L1 error. 虽然此处没有尝试,但也可以尝试其他的 loss function。

  

 

 

  总的算法框架如下:

  

  


  实验部分:

  

 

 

 

 

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
Java多线程高并发学习笔记——阻塞队列
在探讨可重入锁之后,接下来学习阻塞队列,这篇文章也是断断续续的写了很久,因为最近开始学ssm框架,准备做一个自己的小网站,后续可能更新自己写网站的技术分享。 请尊重作者劳动成果,转载请标明原文链接: http://www.cnblogs.com/superfj/p/7757876.html 阻塞队列是什么? 首先了解队列,队列是数据先进先出的一种数据结构。
944 0
高可用笔记(3)nginx+tomcat+redis
在《高可用笔记(1)nginx》中已经使用过nginx反向代理tomcat的http服务,本文将介绍如何用nginx+tomcat+redis的组合实现负载均衡。
3367 0
《云计算架构技术与实践》读书笔记(四):XEN/KVM虚拟化引擎介绍
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/a724888/article/details/75392862 4.1  XEN/KVM虚拟化引擎 4.1.1  虚拟化架构分类 计算虚拟化技术的实现形式是在系统中加入一个虚拟化层,将下层的资源抽象成另一种形式的资源,供上层使用。
1776 0
iOS开发笔记 7、数据【Preferences、文件、库、Core Data】
程序开发中根据要使用各种各样的数据,如配制、文件系统、数据库等,iOS对这个有很好的支持 Preferences If you’re going to create a program that has built-in preferences, you should do so using the Utility Application template.
815 0
Sed&awk笔记之sed篇:实战
相信大家肯定用过grep这个命令,它可以找出匹配某个正则表达式的行,例如查看包含"the word"的行: $ grep "the word" filename 但是grep是针对单行作匹配的,所以如果一个短句跨越了两行就无法匹配。这就给我们出了一个题目,如何用sed模仿grep的行为,并且
1836 0
流编辑器:sed|学习笔记
快速学习流编辑器:sed
46 0
Effective C++ 笔记(2):尽量以const,enum,inline替换#define
条款二(clause 2) 尽量使用const,enum,inline替换#define(以编译器替换预处理器) 1、使用const替换#define 通常替换 #define NUM 3.
815 0
Effective C++ 笔记(1):视C++为语言联邦
条款一(clause 1) 将C++视为语言联邦:提出了一种将C++分为四种不同次语言的观念,四种次语言分别是: 1、C语言,面向过程的语言,C++完全向下兼容C,在C++中单纯使用C语言的语法除了遵守的一些规则...
1443 0
+关注
wangxiaocvpr
编程语言,算法相关技术专家
311
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载