阅读时间：2023-11-14
1 介绍
题目：Spatially embedded recurrent neural networks reveal widespread links between structural and functional neuroscience findings
年份：2023
作者： 雅沙·阿赫特伯格，英国剑桥大学 MRC 认知和脑科学单位
期刊：Nature Machine Intelligence, 2023: 1-13.
引用量：6
介绍了空间嵌入循环神经网络（seRNNs）的研究，以及它们如何揭示神经科学中结构和功能发现之间的联系。论文讨论了大脑网络如何发展以实现目标并优化信息处理，在其生命周期中面临权衡和解决挑战的同时。这些过程塑造了大脑网络的组织和功能，导致了稀疏和小世界结构以及特征性的神经元调谐。
论文介绍了seRNNs作为一个计算模型，结合了大脑的解剖和功能，实时地在不同结构、功能和行为目标之间进行权衡和优化。seRNNs被训练来解决任务并优化其性能，同时面临有限的资源，根据它们在三维欧氏空间中的空间距离平衡连接的增长和修剪。网络还优化了网络内部的通信，以实现有效的信号传播。通过这个优化过程，seRNNs在结构拓扑中自然地呈现出类似于生物大脑的模块化和小世界性质。该研究进一步使用生成网络模型验证了seRNNs与真实神经连接的结构相似性。此外，该文档还揭示了seRNNs中功能相关的单元的空间组织，表明结构与功能在这些网络中存在紧密关系。
2 创新点
- 提出了空间嵌入的经常性神经网络（seRNNs）作为一个计算模型，结合了大脑的解剖学和功能学，可以动态地在真实时间内权衡不同的结构、功能和行为目标。
- 通过在3D欧几里得空间中基于空间距离平衡连接增长和修剪，以及网络内部通信的优化，seRNNs可以在面临资源限制的情况下解决任务并优化性能。
- seRNNs在结构拓扑上表现出与生物大脑类似的特征，如模块化和小世界性。通过使用生成网络模型验证了seRNNs与真实神经连接的结构相似性。
- 论文还揭示了seRNNs中功能相关的单元在空间上的组织，表明结构和功能之间存在密切关系。
3 代码
https://github.com/8erberg/spatially-embedded-RNN
https://codeocean.com/capsule/2879348/tree/v2
4 算法
理论 ：通过在三维欧几里得空间中的连接情况和神经元之间的通信进行动态平衡，达到了不同结构、功能和行为目标的优化。训练seRNNs解决任务并优化性能，同时面临有限资源的限制。网络根据在三维欧几里得空间中的空间距离进行连接的生长和修剪的平衡。网络还优化网络内部的通信，以实现信号传播的高效。通过这个优化过程，seRNNs自然地表现出类似生物大脑的特征，比如模块化和小世界结构。
实现：在损失函数上使用L1正则化，加入网络的两个约束：欧氏距离和网络通信。为了实现这一点，首先将神经元嵌入到一个三维空间中，使得每个神经元都有相应的x、y和z坐标。利用这些坐标，可以生成一个欧氏距离矩阵，描述每对节点之间的物理距离。这样，可以通过将权重 $ w_{i,j}$乘以它们之间的欧氏距离 $ d_{i,j} $，从而激励网络最小化（昂贵的）长距离连接。得到的损失函数如下：
5 实验分析
（1）
绿色代表目标信息偏好，棕色代表选择信息偏好。说明了空间上的神经元集群对于特定的感觉和认知功能有着相似的解码偏好。神经元对于定向或颜色信息的解码偏好可能在空间上聚集形成集群
（2）对比seRNNs和L1 RNNs
在seRNNs中，权重和欧氏距离之间呈现负相关关系，但在L1网络中，权重和欧氏距离之间没有关系。
（3）
矩阵分别代表了准确率、权重总和、模块性和小世界性这四个特征。从左到右是训练时间越长，从下到上正则化程度越大，只有在合适的训练时间和正则化程度下，四个特征都是黄色区域，代表特征最佳。
这张图进一步说明，训练时间太长，会失去小世界性。正则化太强会没有模块化结构。
6 思考
（1）模块化和小世界的区别
模块化和小世界性都是关于网络结构的特征。模块化表示模块内部具有密集的连接，但模块之间的连接相对稀疏；而小世界性表示节点之间的平均路径长度较短，同时高度局部聚集。区别在于，模块化注重网络内部的连接密度和模块间的稀疏连接，以实现功能的分工和专业化；而小世界性则关注节点之间的短路径和强连接的聚集，以促进信息传播的效率和网络的整体连通性。
我认为小世界更强调模块之间的连接通信效率，网络中即使存在很好的模块化结构，模块化之间没有足够近，距离非常远的话，就是没有小世界性。
（2）用什么来衡量模块化程度和小世界性
使用大脑连接性工具箱（Brain Connectivity Toolbox）计算图论网络统计量，使用Q统计量来衡量模块化。
其中a是连接数量， l 是节点总数， δ表示节点i和j之间的连接状态，若连接则为1，否则为0， $\delta_{m_im_j} $为模块m中包含的节点i、j（若mi=mj，则$ \delta_{m_im_j}$ = 1，否则为0）。默认的分辨率参数1来测试模块度。
小世界性是指一个图的属性，大多数节点之间不是相邻节点，但节点的邻居很可能是彼此的邻居。
（2）疑惑
没有看明白图3c在表达什么，图注说的“model fit”是什么意思？如何得到的中间图，和右侧的图。为什么要用“one-way ANOVA”和“Tukey’s test”。
（3）疑惑
没有分析这张图
（4）疑惑
没有解释这张图
（5）结论
这篇论文都没有图4，直接从图3跳到了图5。可视化非常多，但是没有讲明白为什么要去做这样的可视化，如何分析可视化结果，没有讲的很清楚，大多数一笔带过好几张图。这篇论文的创新性我认为是不足够的，我觉得突出贡献是深入探讨了正则化和模型拟合训练对模块化的影响。算法并不是很难。
本文没有related work部分，可能也是因为他提出的算法没有创新性，很早就已经提出了模块化结构在RNN中的应用。
（6）吐槽
篇论文只是将另一篇工作的SNN换为了RNN，增加了更多的实验分析过程。居然可以发这么高质量的期刊。
https://github.com/andrewsiyoon/spiking-seRNN
