【博士每天一篇论文-理论分析】Dynamical systems, attractors, and neural circuits

简介: 本文是2016年Paul Miller在《F1000Research》上发表的论文,深入探讨了神经回路中的动力系统和吸引子,强调了使用基于动力系统的数学模型对神经回路进行准确建模的重要性,并分析了点吸引子、多稳态、记忆、抑制稳定网络等不同动力学系统在神经回路中的作用及对认知功能的影响。

阅读时间:2023-11-19

1 介绍

年份:2016
作者:Paul Miller 马萨诸塞州沃尔瑟姆市布兰代斯大学Volen国家复杂系统中心
期刊: F1000Research
引用量:63
这篇论文主要关注神经回路中的动力系统和吸引子。作者指出神经回路的复杂性和所涉及的非线性,加上数据受限和在动力系统领域的有限条件,可能会导致错误的模型。作者提出应该使用基于动力系统的适当数学模型来为神经回路的适当建模提供基础。对几种不同类型的动力系统进行了研究,包括点吸引子、多稳态和记忆,以及抑制稳定网络及其在神经回路中的作用。此外还提出一些观点
(1)大脑中神经活动的模型有不同类型的动力系统。
(2)不同脑区的神经回路可能以不同的动力机制运行。
(3)神经回路的动态机制取决于多种因素,包括连接模式、学习、输入和神经调制。
(4)没有一种单一的动力系统可以准确地解释所有的神经功能,更好地理解各种动力系统是很重要的。
(5)仅仅知道连接组(哪些神经元相互连接)是不足以理解神经回路的运作的。
(6)观察协调的神经活动对于理解大脑的能力是非常重要的。

2 创新点

(1)强调神经回路的动力学系统和吸引子:论文指出,为了正确地对神经回路进行建模,应使用基于动力学系统的适当数学模型。文中分析了几种不同类型的动力学系统,包括点吸引子、多稳态和记忆,以及抑制稳定网络,并讨论了它们在神经回路中的作用。
(2)引入局限性数据和隐藏变量概念:作者认为当前关于哺乳动物神经回路动力学性质的争论很大程度上源自数据稀疏和关于回路完全描述所需的相关变量往往未知或隐藏,因此无法进行全面描述。这一观点强调了数据的局限性及相关变量的重要性。
(3)阐述动力学系统对准确建模的重要性:尽管面临挑战,作者认为更好地理解动力学系统对于准确和全面地建模神经回路至关重要。这一观点强调了动力学系统在研究神经回路时的重要性,并为解决当前的建模争议提供了思路。
总之,该论文创新之处在于强调神经回路建模中动力学系统和吸引子的重要性,以及局限性数据和隐藏变量的影响,提出了动力学系统对准确建模的关键作用。

3 理论分析

(1)在解释认知过程时,对神经回路动力学缺乏共识源于不同的起点,如混沌系统、振荡器或点吸引子状态。
(2)神经回路是由耦合微分方程描述的非线性动态系统,但相关的连续变量通常是隐藏的,只能记录一小部分细胞。还有许多其他特性影响细胞和整个电路的持续行为。这些可能包括每个突触连接处神经递质囊泡的数量及其电压依赖释放概率,或各种离子通道的活化和失活的细胞平均状态。钙离子浓度和所有这些值的空间分布也可以影响神经活动。
(3)动力系统主要有三大类:点吸引子、振子和混沌系统,每一类都以变量随时间的行为为特征。
(4)研究只有几个神经元的电路提供了不同动力学的例子,但具有数百或数千个神经元的高维系统与认知功能更相关。本文考虑仅有两个或三个神经元的电路,以提供多种不同类型的动力学示例。一般来说,一个具有数百或数千个神经元的系统 ,需要一个数百或数千维的空间来绘制所有神经元的膜电位或发放率的协同动力学 ,可能包含点吸引子、极限环和混沌区域,这取决于哪些细胞子集在某个时间段内活动更强烈。
(5)点吸引子
点吸引子是动力学的稳定平衡点,虽然在现实中神经回路不能严格处于点吸引子状态,但可以考虑将变量的平均值,例如大量神经元的平均发放率,视为在初始瞬态响应之后的稳定状态。神经元的变异性可以通过噪声项来解释,导致每个神经元的脉冲以随机的方式产生,但其概率依赖于一个可能是静态和确定性的隐藏变量,以及关于其稳定平衡点的噪声驱动波动。因此,点吸引子框架与不断变化的神经活动并不矛盾。
image.png
在阈值线性双单元电路中存在无输入的单点吸引子和有输入的不同点吸引子。

(A) 图例中展示了一个模型电路,箭头表示兴奋性连接,球体表示抑制性连接。
(B) 时间作为横轴,应用电流作为纵轴。两个不同大小的电流脉冲被应用到单元1。
耦合网络中的时间作为横轴,射频作为纵轴。在每个电流脉冲步骤中,会产生一个新的吸引子,但在电流脉冲结束后,原始的活动状态会恢复。
(D) 两个单元的射频的任何特定组合(x轴表示单元1的射频,y轴表示单元2的射频)决定了这些射频随时间的变化方式(箭头表示)。从任意射频对的起点出发,按照箭头的方向移动,最终会达到两条线交叉的点。

  • 红线:单元2的零线 - 在给定单元1的射频值时,dr(2)/dt = 0(其固定点)时的r(2)值。由于单元1刺激单元2,r(2)的固定点随r(1)的增加而增加。
  • 黑线:单元1的零线 - 在给定单元2的射频值时,dr(1)/dt = 0(其固定点)时的r(1)值。由于单元2抑制单元1,r(1)的固定点随r(2)的增加而减少。
  • 固定点:零线交叉点是整个系统的固定点。这个固定点是稳定的(所以是一个吸引子状态),因为箭头会汇聚到固定点。
  • (E) 与(D)类似,但在第二个应用电流脉冲期间的解决方案。应用电流会使得单元1的零线移动,使得系统的固定点在更高的r(1)和r(2)值上。实现参考Matlab代码中的“dynamics_two_units.m”

(6)多稳态和记忆
当一个系统在没有刺激的情况下具有多个吸引子状态时,先前刺激的历史可以决定神经回路的当前活动状态,即它所处的特定吸引子状态,因此该系统可以保留记忆。
image.png
多稳定吸引子网络可以通过阈值线性双单元电路的持续活动在状态之间切换以编码不同的记忆

(C)耦合网络的发放率随时间的变化显示出三种不同的活动状态:单位1和单位2都不活跃,或者其中一个活跃。这种活动在应用电流之后依然持续存在,这是多稳态的标志,所以它保留了过去输入的记忆。
(D)黑红两条线的交点是多个,相交点是不稳定的。零线的交点是整个系统的一个固定点,固定点是稳定的(因此是一个吸引子状态)

(7)抑制稳定网络
抑制稳定网络(Inhibition-stabilized network,IS)是一种以强反馈抑制为特征的神经回路行为,它稳定了兴奋性放电率。该网络即使在存在自激的情况下也能保持稳定。海马体和皮层的区域可能在这种状态下运作。抑制细胞的外部兴奋性输入的减少实际上会导致它们的放电率增加,从而导致抑制细胞和兴奋细胞的放电率都更高。这种矛盾的效应是网络中存在的强反馈回路的结果。在海马体和初级视觉皮层中发现了抑制稳定网络运作的证据。
image.png
阈值线性双单元电路中单点吸引子在抑制稳定状态下的“矛盾”位移

(C)对第二个单元施加外部抑制会导致其发放率增加

(8)吸引态流动
指的是一个系统在不同的活动模式之间快速切换的现象,这种模式持续的时间比切换的时间长。它可以通过具有多个稳定点吸引子的电路中的噪声驱动波动或通过突触抑制或放电速率适应等生物过程发生。这种准稳定状态的流动可以在序列记忆、贝叶斯计算和决策中发挥作用。吸引子状态流动的实验识别可能需要对神经尖峰序列进行非标准分析,例如隐马尔可夫模型。
(9)解决多稳定模型中不切实际的发放率问题
指在多稳定模型中观察到的高发放率问题,这与在体内观察到的较低发放率不一致。几个建模假设可以帮助解决这个问题,例如考虑通过NMDA受体或突触促进介导的周期性反馈的时间常数。另一种可能性是存在兴奋性和抑制性细胞亚群,它们在抑制稳定的状态下工作,这允许在低放电率下保持稳定的活性。
(10)边缘状态(线吸引子或连续吸引子)
是一种具有边缘稳定性的动力系统,在该状态下系统的变量趋近于一个连续的范围(一条线),当活动偏离该线时会向该线恢复,但沿该线的偏差可能会随时间累积。边缘状态在神经电路模型中可能依赖于底层对称性或参数的微调,能够编码和存储连续数量的值,完美地随时间积分信息,并以贝叶斯方式将先验信息与感觉输入相结合。边缘状态的实验预测特征包括神经活动在恒定刺激下随噪声累积而呈现随机游走的漂移,导致方差与时间线性增加;对输入进行完美的时间积分;以及单个神经脉冲序列内线性衰减的相关性。
image.png
通过仔细调整阈值线性双单元电路中的连接强度,可以产生边缘状态或连续/线吸引子

(C)由于两个单元相互抑制,重叠的线具有负梯度

(10)震荡系统(循环吸引子或极限环)
是指能够产生周期性振荡的系统。这些系统在一个变量与另一个变量的图表中呈现闭环形状。由于活动会被吸引到循环上(也就是嵌入在更高维度空间中的一条线),所以震荡系统与线吸引子有一些相似之处。小的扰动可以在震荡的相位中累积(沿着极限环的线),因此,就像线吸引子一样,噪音会沿着一个特定的方向进行随机漫步累积。此外,震荡器的相位会记忆扰动,因此震荡器也可以是积分器,尽管只能积分至一个周期的偏移,并且需要与无扰动的震荡器进行比较。
(11)混沌系统(奇特吸引子)
当神经元之间的连接足够强大且兴奋性和抑制性的随机连接平衡时,神经系统就会变得混沌。这种混沌系统在处理信息和记忆方面可能会带来严重问题,因为对初始条件的最小变化会导致结果的不确定性。
然而,在接近混沌边缘的系统可以在计算上具有高效率,并且可以对输入进行可靠的追踪,同时响应比有序系统更快。混沌系统还可以通过改变神经元之间的连接强度来学习和编码几乎任何时空输入模式,并实现多个模式的切换和处理许多基于规则的任务。具有高度灵活性和可训性,可以编码和处理复杂的时空输入模式,并在刺激下快速响应。
image.png
一个阈值线性三元电路中的混沌活动

(12) Heteroclinics
是指系统中移动在不同马鞍点之间的轨迹。马鞍点是系统中的一个常见的固定点,其具有向一些方向靠近马鞍点的趋势,而向其他方向远离马鞍点的趋势。Heteroclinics序列类似于具有吸引-漫游状态和在短时间尺度上看起来稳定的状态之间切换的一种类型的振荡器。在Heteroclinics序列中,活动可以被引导到每个马鞍点附近,就像是一个吸引态,但是一旦接近马鞍点,活动将发现其不稳定的方向并远离。Heteroclinics序列的模型被提出作为记忆和决策的基础。在神经回路中,随机连接的神经回路存在适当数量的Heteroclinics轨迹用于信息处理。然而,目前还没有将Heteroclinics序列的认知处理与实证数据联系起来的独特预测。
image.png
阈值线性三单元电路中的异斜轨道
(13)临界性(Criticality)
大脑处于临界状态,实际上呈现自组织临界性(self-organized criticality)状态,并且应该以此进行研究。临界性是一个系统的测量状态,而不是一个动力学模型。在神经回路模型中,临界状态是指当神经活动被从线的轨迹偏离时,它会恢复到该轨迹,并且沿着该轨迹的偏差会随着时间的推移积累。临界性的神经回路能够编码和存储连续数量的值。临界状态的系统能够完美地进行时间上的信息整合。目前的观察结果表明,很多神经活动都接近于临界状态。虽然完全判定一个神经回路是否达到了精确的临界性是困难的,但仍有可能提供对神经活动的准确描述。总之,临界性是指处于自组织临界状态的神经回路,其特点是能够最优地进行信息处理和整合,同时也具有一定的稳定性和鲁棒性。

4 总结

(1)大脑中神经活动的模型有不同类型的动力系统。
(2)不同脑区的神经回路可能以不同的动力机制运行。
(3)神经回路的动态机制取决于多种因素,包括连接模式、学习、输入和神经调制。
(4)没有一种单一的动力系统可以准确地解释所有的神经功能,更好地理解各种动力系统是很重要的。
(5)仅仅知道连接组(哪些神经元相互连接)是不足以理解神经回路的运作的。
(6)观察协调的神经活动对于理解大脑的能力是非常重要的。

5 思考

(1)目前的研究都只集中在几个神经元的电路之间的相互作用,是不是在使用具有数百或数千个神经元的高维系统时,能够发生一个质变。高维系统才是与认知功能更相关的。当神经元多了之后,神经元之间的如何协同,需要考虑。
(2)一个大脑中有非常多的机制和系统组成,在做类脑的设计时,结合多种系统和机制来实施。

目录
相关文章
|
4月前
|
机器学习/深度学习 编解码 数据挖掘
【博士每天一篇文献-综述】Network hubs in the human brain
本文综述了人类大脑网络连接的研究,探讨了网络枢纽在认知功能和大脑疾病中的关键作用,并介绍了网络枢纽的检测方法以及网络模型在大脑功能研究中的应用。
44 1
|
4月前
|
机器学习/深度学习 算法 Python
【博士每天一篇文献-算法】Overcoming catastrophic forgetting in neural networks
本文介绍了一种名为弹性权重合并(EWC)的方法,用于解决神经网络在学习新任务时遭受的灾难性遗忘问题,通过选择性地降低对旧任务重要权重的更新速度,成功地在多个任务上保持了高性能,且实验结果表明EWC在连续学习环境中的有效性。
118 2
【博士每天一篇文献-算法】Overcoming catastrophic forgetting in neural networks
|
4月前
|
存储 算法
【博士每天一篇文献-算法】On tiny episodic memories in continual learning
本文研究了在连续学习环境中使用小型情节记忆来解决灾难性遗忘问题,通过实证分析发现经验重播(ER)方法在连续学习中的表现优于现有最先进方法,并且重复训练对过去任务的小型记忆可以提升泛化性能。
22 1
【博士每天一篇文献-算法】On tiny episodic memories in continual learning
|
4月前
|
机器学习/深度学习 存储 算法
【博士每天一篇论文-算法】Continual Learning Through Synaptic Intelligence,SI算法
本文介绍了一种名为"Synaptic Intelligence"(SI)的持续学习方法,通过模拟生物神经网络的智能突触机制,解决了人工神经网络在学习新任务时的灾难性遗忘问题,并保持了计算效率。
71 1
【博士每天一篇论文-算法】Continual Learning Through Synaptic Intelligence,SI算法
|
4月前
|
机器学习/深度学习 数据挖掘
【博士每天一篇文献-综述】Communication dynamics in complex brain networks
本文综述了复杂脑网络中的通信动态,提出了一个将通信动态视为结构连接和功能连接之间必要联系的概念框架,探讨了结构网络的局部和全局拓扑属性如何支持网络通信模式,以及网络拓扑与动态模型之间的相互作用如何提供对大脑信息转换和处理机制的额外洞察。
47 2
【博士每天一篇文献-综述】Communication dynamics in complex brain networks
|
4月前
|
机器学习/深度学习 算法 机器人
【博士每天一篇文献-算法】改进的PNN架构Lifelong learning with dynamically expandable networks
本文介绍了一种名为Dynamically Expandable Network(DEN)的深度神经网络架构,它能够在学习新任务的同时保持对旧任务的记忆,并通过动态扩展网络容量和选择性重训练机制,有效防止语义漂移,实现终身学习。
60 9
|
4月前
|
机器学习/深度学习 数据采集 运维
【博士每天一篇文献-综述】2024机器遗忘最新综述之一:A Survey on Machine Unlearning Techniques and New Emerged Privacy Risks
本文综述了机器遗忘技术及其面临的新兴隐私风险,提出了面向数据和模型的分类法,分析了信息窃取和模型破坏攻击手段,探讨了相应的防御策略,并讨论了机器遗忘技术在大型语言模型、联邦学习和异常检测等领域的应用。
58 5
|
4月前
|
机器学习/深度学习 存储 人工智能
【博士每天一篇文献-综述】Biological underpinnings for lifelong learning machines
本文综述了生物系统如何通过神经生成、情景重放、突触超塑性等机制实现终身学习,并探讨了将这些生物学机制应用于开发具有类似学习能力的人工智能系统,提出了终身学习机器的关键特征和未来研究方向。
34 2
|
4月前
|
机器学习/深度学习 存储 人工智能
【博士每天一篇文献-综述】Brain-inspired learning in artificial neural networks a review
这篇综述论文探讨了如何将生物学机制整合到人工神经网络中,以提升网络性能,并讨论了这些整合带来的潜在优势和挑战。
43 5
|
4月前
|
机器学习/深度学习 存储 算法
【博士每天一篇文献-综述】Continual lifelong learning with neural networks_ A review
这篇综述论文深入探讨了神经网络在终身学习领域的研究进展,包括生物学启发的概念、终身学习方法的分类与评估,以及未来研究方向,旨在解决神经网络在学习新任务时如何避免灾难性遗忘的问题。
47 2