《自然:神经科学》论文:动物视觉系统里的RNN能加速物体识别

简介: 深度学习成为神经科学研究的重要助力
TB1WWhsTFzqK1RjSZFCXXbbxVXa.jpg

雷锋网 AI 科技评论按:顶级期刊《Nature Neuroscience》(自然:神经科学)近日刊登了一篇新论文,论文标题是「Evidence that recurrent circuits are critical to the ventral stream's execution of core object recognition behavior」(证据表明循环结构对核心物体识别行为中处理腹侧神经流的过程有关键影响)。论文中把动物视觉系统在物体识别任务中的表现建模为深度学习模型,并对比真实动物和深度学习模型的行为,尝试进一步推测真实动物视觉系统的功能和结构。

这类研究得到的发现不仅有神经生物学意义,也可以帮助机器学习领域的研究人员们从其他角度理解深度神经网络的结构和行为特点,比如,根据这篇论文中的结论,动物视觉系统中的RNN结构可以加速有挑战性的图像的识别,这种现象能否用来进一步改进人工神经网络呢?

这篇论文的作者们来自哥伦比亚大学和MIT。

论文摘要:

对动物的研究表明,灵长类动物的视觉系统中有密集的循环式腹侧神经流,并最终在颞下皮层(IT Cortex)汇集,这构成了它们的核心物体识别行为。目前对这种行为建模效果最好的模型是深度卷积神经网络(CNN),但 CNN 却是不带有循环结构的。这就给研究人员们带来了一个疑问:如果动物神经系统追踪的循环结构对它们的行为如此重要,那么灵长类的识别系统就应当在同时需要前馈颞下皮层响应以及额外的循环信号处理的图像识别任务中得到高于只有前馈的深度 CNN 网络的表现。

在这项研究中,作者们首先使用行为学方法找到了数百张这样的「有挑战」的图像(能体现出循环结构的优势)。其次,借助大规模电生理学方法,作者们把其它动物中的有足够识别能力的物体识别方案和灵长类进行了行为学角度对比,发现识别有挑战性的图像时,前者的信号在颞下皮层汇集的时间要比灵长类迟大约 30ms。然而深度 CNN 的行为却很难预测这种行为学角度有显著区别的滞后颞下皮层响应。值得一提的是,非常深的 CNN 和浅一些的循环结构 CNN 对这些滞后响应的预测就要好一些,这表明额外的非线性变换与循环结构之间存在一定的功能等效性。

作者们提由此提出,循环结构的信号通路对于快速物体识别起到了关键作用,这也得到了实验证实;除此之外,实验结果还为未来的循环结构模型开发提供了强有力的限定条件。

由于论文是闭源的,对于论文正文内容我们只能介绍这么多。

论文地址:https://www.nature.com/articles/s41593-019-0392-5 

实验数据:https://github.com/kohitij-kar/image_metrics 

准备实验所用代码:http://brain-score.org/ 

雷锋网(公众号:雷锋网) AI 科技评论此前也有长文介绍过神经科学研究和人工神经网络之间的联系,见 《殊途同归还是渐行渐远?MIT神经科学教授James DiCarlo谈如何通过人类神经理解神经网络》

雷锋网 AI 科技评论报道。

目录
相关文章
|
人工智能 人机交互 语音技术
INTERSPEECH2023论文解读|BAT一种低延迟低内存消耗的RNN-T模型
INTERSPEECH2023论文解读|BAT一种低延迟低内存消耗的RNN-T模型
309 0
|
机器学习/深度学习 存储 算法
图灵机就是深度学习最热循环神经网络RNN?1996年论文就已证明(2)
图灵机就是深度学习最热循环神经网络RNN?1996年论文就已证明
123 0
|
机器学习/深度学习 存储 人工智能
图灵机就是深度学习最热循环神经网络RNN?1996年论文就已证明(1)
图灵机就是深度学习最热循环神经网络RNN?1996年论文就已证明
148 0
|
机器学习/深度学习 存储 测试技术
Transformer的潜在竞争对手QRNN论文解读,训练更快的RNN
Transformer的潜在竞争对手QRNN论文解读,训练更快的RNN
219 0
Transformer的潜在竞争对手QRNN论文解读,训练更快的RNN
|
机器学习/深度学习 自然语言处理 算法
论文赏析[NAACL16]RNN文法(二)
论文赏析[NAACL16]RNN文法 论文地址:Recurrent Neural Network Grammars 代码地址:github
162 0
论文赏析[NAACL16]RNN文法(二)
|
机器学习/深度学习 自然语言处理 Windows
论文赏析[NAACL16]RNN文法(一)
论文赏析[NAACL16]RNN文法 论文地址:Recurrent Neural Network Grammars 代码地址:github
496 0
论文赏析[NAACL16]RNN文法(一)
|
机器学习/深度学习
论文赏析[ACL18]基于RNN和动态规划的线性时间成分句法分析(二)
好像已经很久没有看论文了呢,开学了一堆事情,以后还是要抽空阅读论文,保持一定的阅读量,并且不能光看最新的论文,还得去前人传统的方法中去寻找有没有能应用于深度学习的东西,说不定就发ACL了呢(手动滑稽)。 论文地址:Linear-Time Constituency Parsing with RNNs and Dynamic Programming 代码地址:github
111 0
论文赏析[ACL18]基于RNN和动态规划的线性时间成分句法分析(二)
|
机器学习/深度学习 自然语言处理
论文赏析[ACL18]基于RNN和动态规划的线性时间成分句法分析(一)
好像已经很久没有看论文了呢,开学了一堆事情,以后还是要抽空阅读论文,保持一定的阅读量,并且不能光看最新的论文,还得去前人传统的方法中去寻找有没有能应用于深度学习的东西,说不定就发ACL了呢(手动滑稽)。 论文地址:Linear-Time Constituency Parsing with RNNs and Dynamic Programming 代码地址:github
110 0
论文赏析[ACL18]基于RNN和动态规划的线性时间成分句法分析(一)
|
9月前
|
机器学习/深度学习
【从零开始学习深度学习】33.语言模型的计算方式及循环神经网络RNN简介
【从零开始学习深度学习】33.语言模型的计算方式及循环神经网络RNN简介
【从零开始学习深度学习】33.语言模型的计算方式及循环神经网络RNN简介

热门文章

最新文章