MIT重磅研究:基于人工神经网络,探索抑制神经元的生物学意义

简介:

MIT重磅研究:基于人工神经网络,探索抑制神经元的生物学意义

在近几年,人工神经网络——一种参照大脑运作模式而建成的计算模型——已经成为了最为炙手可热的人工智能系统,并且应用于从语音到图像的各个领域。

雷锋网消息,MIT CSAIL 于今日发布了一个重磅研究成果:他们已经开发出一个大脑神经回路的计算模型,它揭示了抑制神经元的生物意义。

这个模型是由一组输入神经元阵列与同等数量的输出神经元组成,采用「竞争学习规则」(winner-take-all)来操作。

也就是说,网络的输出神经元之间相互竞争以求被激活,但在每一时刻只有一个输出神经元被激活。这个被激活的神经元称为竞争获胜神经元,而其它神经元的状态被抑制,故称为 Winner Take All,这就像美国大选一样,在该州获得更多选票的候选者就会得到该区所有的选票。

MIT 研究者们证明,通过使用理论计算机科学的相关工具,他们的模型能够让一定配置的抑制性神经元遵循「竞争学习规则」,并获得最有效的结果。这其中原因何在?真相就在于该模型能够对抑制性神经元在大脑中的行为进行预测,而这也成为了计算分析辅佐神经科学研究的绝佳例子。

这一新发现在本周的理论计算机科学变革会议上公布。论文作者为 MIT 软件科学及工程的 NEC 教授 Nancy Lynch,博士后 Merav Parter 及电子工程与计算机科学的研究生 Cameron Musco。Lynch 表示,「这一发现能够为计算机网络或以手机为代表的电子设备与生物系统中的神经网络之间建立起紧密联系,我们正在尝试从分布式计算的角度寻找可能使之受益的方向,并将重点放在算法上。」

为了补充一些背景知识,雷锋网先为大家简单介绍一下人工神经网络与人体神经网络的联系与区别:

我们都知道,大脑的神经细胞存在两种状态:兴奋和抑制。神经细胞通过某种方式将所有树突上的信号进行相加,如果信号总和超过了某个阈值,那么这个神经细胞就会被刺激,达到兴奋状态。人工神经网络也就是模仿上述原理而设计的一种算法模型。

人工神经网络与人体的神经元类似,由多个节点(神经元)之间联结而成,每个节点代表一种特定的输出函数,并根据各个节点的不同权重生成不同的计算输出。

由于权重能够表示激发或抑制作用(在这里,雷锋网为大家简单表示为正负关系),这些或正或负的数据将作为激励函数的输入进行作用。而这个激励函数经过所有不同节点的权重综合计算后得到一个新的激励值,并最终得到我们想要的结果。

而在人工智能应用中,实际情况当然会更加复杂一些。一个神经网络可以接受不同数据的训练,不断通过调整权重而得到更契合实际的结果。

“生物层面上的真实性”

Lynch 团队对该模型进行了多处修改,使得人工神经网络在生物层面更加真实。首先是增加抑制性神经元的数量。通常在人工神经网络中,连接上的权重值就和雷锋网方才提及的一样,通常是正的,或者是可正可负的。但在人体大脑中,有一些神经网络能够发挥纯粹的抑制作用,并阻止其它神经元活动,因此 MIT 的研究人员参考这一点,将这些神经元建模为只连接负权重的节点。

而就像我们所了解到的一样,很多人工智能采用的是前馈网络,即信号只从一个方向通过网络,从接收输入数据的第一层到提供计算结果的最后一层。但大脑间的反馈会更加复杂一些。Lynch、Parter 及 Musco 的神经网络就增加了一层反馈机制,输出神经元的信号传递到抑制性神经元,它的输出会再次传递到输出层。此外,输出神经元的信号也会反馈给自身,这对竞争学习规则而言显得非常重要且有效。

MIT 的研究人员改进的人工神经网络还有一点最大的不同在于,神经网络变得更具概率性。因为在此前传统的人工神经网络中,如果节点的输入值超过某个阈值,则节点会被激发。但在大脑中,即使增加了输入神经元的信号强度,也只会增加输出神经元激活信号的机会。这同样对于竞争学习规则也具有不小的意义。

抑制的优点

Parter 与她的同事们成功证明,如果只有一个抑制性神经元,是不可能变成竞争学习的最终「赢家」的(但两个就 OK 了!)。其中的秘诀在于,如果多于一个输出神经元激活抑制性神经元(研究人员称之为收敛神经元)能够激活强抑制信号。而另一个抑制性神经元(被称为稳定神经元)的功能在于,只要任何输出神经元正在激活信号,那么它都只会发出更弱的信号。

收敛神经元能够驱动神经网络选择单个输出神经元,并在该节点上停止激活信号;而稳定神经元则会在收敛神经元已经停止活动时防止输出神经元的第二次作用。而如果输出神经元被抑制的时间越久,它越有可能继续保持这一状态。而一旦选择了单个输出神经元,它的反馈回路能够确保自己能够克服稳定神经元的抑制作用。

但是,如果缺少了随机性,网络并不会收敛到单个输出神经元,抑制性神经元权重的任何设置将同等地影响所有的输出神经元。「你需要随机性来打破这种对称性,」Parter 解释道。

研究人员能够确定所需要的辅助神经元的最小数量,以保证特定收敛的速度,以及在一定数量的辅助神经元的情况下的最大收敛速度。

越多的收敛神经元并不代表着收敛速度一定会加快,比如说现在有 100 个输入神经元,两到三个收敛神经元已经足够,而增加第四个并不会增加你的速度。与此同时,一个稳定神经元已经足够。

但更有意思的地方在于,研究人员发现兴奋性神经元(刺激)与抑制神经元一样,并不能增强神经网络的处理效率。

Salk 生物研究所的助理教授 Saket Navlakha 表示,这个模型能够应用于很多的感觉系统中,包括生成稀疏码的嗅觉系统。「我们已经发现了许多类型的抑制性神经元,下一步我们打算看看是否能像论文所说的一样,将抑制性神经元分为上述两类。」

卡耐基梅隆大学计算机科学 Ziv Bar-Joseph 表示,「神经科学在计算模型上需要考虑更多的细节,除了抑制性神经元如何发生作用外,什么样的蛋白质能够驱动它们呢?」目前,Nancy 正在对神经网络进行全面性的观察,并研究抑制神经元的数量。而这种基于宏观层面范围内的建模,相信能够为人类带来普适性更强的预测。

via MIT,雷锋网(公众号:雷锋网)编译


本文作者:奕欣


本文转自雷锋网禁止二次转载,原文链接

相关文章
|
2月前
|
机器学习/深度学习 人工智能 TensorFlow
神经网络深度剖析:Python带你潜入AI大脑,揭秘智能背后的秘密神经元
【8月更文挑战第1天】在当今科技飞速发展的时代,AI已成为日常生活中不可或缺的一部分。神经网络作为AI的核心,通过模拟人脑中的神经元连接方式处理复杂数据模式。利用Python及其强大的库TensorFlow,我们可以轻松构建神经网络模型。示例代码展示了如何建立一个含有两层隐藏层的简单神经网络,用于分类任务。神经网络通过反向传播算法不断优化权重和偏置,从而提高预测准确性。随着技术的进步,神经网络正变得越来越深、越来越复杂,能够应对更加艰巨的挑战,推动着AI领域向前发展。
38 2
|
4月前
|
机器学习/深度学习 人工智能 算法
海洋生物识别系统+图像识别+Python+人工智能课设+深度学习+卷积神经网络算法+TensorFlow
海洋生物识别系统。以Python作为主要编程语言,通过TensorFlow搭建ResNet50卷积神经网络算法,通过对22种常见的海洋生物('蛤蜊', '珊瑚', '螃蟹', '海豚', '鳗鱼', '水母', '龙虾', '海蛞蝓', '章鱼', '水獭', '企鹅', '河豚', '魔鬼鱼', '海胆', '海马', '海豹', '鲨鱼', '虾', '鱿鱼', '海星', '海龟', '鲸鱼')数据集进行训练,得到一个识别精度较高的模型文件,然后使用Django开发一个Web网页平台操作界面,实现用户上传一张海洋生物图片识别其名称。
165 7
海洋生物识别系统+图像识别+Python+人工智能课设+深度学习+卷积神经网络算法+TensorFlow
|
26天前
|
机器学习/深度学习 人工智能 TensorFlow
神经网络深度剖析:Python带你潜入AI大脑,揭秘智能背后的秘密神经元
【9月更文挑战第12天】在当今科技飞速发展的时代,人工智能(AI)已深入我们的生活,从智能助手到自动驾驶,从医疗诊断到金融分析,其力量无处不在。这一切的核心是神经网络。本文将带领您搭乘Python的航船,深入AI的大脑,揭秘智能背后的秘密神经元。通过构建神经网络模型,我们可以模拟并学习复杂的数据模式。以下是一个使用Python和TensorFlow搭建的基本神经网络示例,用于解决简单的分类问题。
38 10
|
26天前
|
机器学习/深度学习 监控 并行计算
深度学习之生物网络推理
基于深度学习的生物网络推理利用深度学习技术来解析和理解生物网络(如基因调控网络、代谢网络、蛋白质-蛋白质相互作用网络等)的复杂关系和动态行为。
35 5
WK
|
26天前
|
机器学习/深度学习 自然语言处理 算法
PSO算法和人工神经网络有什么不同
PSO算法(粒子群优化)与人工神经网络(ANN)在原理、应用及优化方式上差异显著。PSO模拟鸟群行为,通过粒子协作在解空间中搜索最优解;而ANN模仿大脑神经元结构,通过训练学习输入输出映射,适用于模式识别、图像处理等领域。PSO主要用于优化问题,实时性高,结果直观;ANN则在处理复杂非线性关系方面更强大,但结构复杂,训练耗时长,结果解释性较差。实际应用中需根据需求选择合适技术。
WK
17 0
|
3月前
|
机器学习/深度学习 自然语言处理
像生物网络一样生长,具备结构可塑性的自组织神经网络来了
【7月更文挑战第24天】Sebastian Risi团队发布的arXiv论文探讨了一种模仿生物神经网络生长与适应特性的新型神经网络。LNDP利用结构可塑性和经验依赖学习,能根据活动与奖励动态调整连接,展现自我组织能力。通过基于图变换器的机制,LNDP支持突触动态增删,预先通过可学习随机过程驱动网络发育。实验在Cartpole等任务中验证了LNDP的有效性,尤其在需快速适应的场景下。然而,LNDP在复杂环境下的可扩展性及训练优化仍面临挑战,且其在大规模网络和图像分类等领域的应用尚待探索
75 20
|
2月前
|
机器学习/深度学习 数据可视化 Python
如何可视化神经网络的神经元节点之间的连接?附有Python预处理代码
该博客展示了如何通过Python预处理神经网络权重矩阵并将其导出为表格,然后使用Chiplot网站来可视化神经网络的神经元节点之间的连接。
40 0
如何可视化神经网络的神经元节点之间的连接?附有Python预处理代码
|
2月前
|
机器学习/深度学习 数据可视化 数据挖掘
【Macos系统】安装VOSviewer及使用VOSviewer教程!!以ESN网络的研究进行案例分析
本文介绍了如何在MacOS系统上安装VOSviewer软件,并以ESN(Echo State Network)网络的研究为例,通过VOSviewer对相关科学文献进行可视化分析,以深入了解ESN在学术研究中的应用和发展情况。
125 0
【Macos系统】安装VOSviewer及使用VOSviewer教程!!以ESN网络的研究进行案例分析
|
3月前
|
机器学习/深度学习 数据采集 算法
Python实现人工神经网络回归模型(MLPRegressor算法)并基于网格搜索(GridSearchCV)进行优化项目实战
Python实现人工神经网络回归模型(MLPRegressor算法)并基于网格搜索(GridSearchCV)进行优化项目实战
|
3月前
|
机器学习/深度学习 算法 数据可视化
Python基于librosa和人工神经网络实现语音识别分类模型(ANN算法)项目实战
Python基于librosa和人工神经网络实现语音识别分类模型(ANN算法)项目实战