阅读时间：2023-11-28
1 介绍
年份：2023
作者：王燕森、姜新阳，微软研究院
期刊： International Conference on Machine Learning. PMLR, 2023
引用量：0
这篇论文介绍了电路神经网络（CircuitNet），这是一种受神经回路结构启发的新型神经网络。CircuitNet使用称为电路基元单元（CMUs）的密集连接神经元来模拟通用电路基元通过调整CMU内的权重。通过整合反馈和横向结构，CircuitNet在各种机器学习任务中表现出优于传统前馈网络的性能，如函数逼近、强化学习、图像分类和时间序列预测。CircuitNet的设计遵循包含不同类型电路基元和形成局部密集和全局稀疏神经元连接的原则，灵感来自人类大脑的结构。该文档强调了神经科学对深度学习的启发作用，并展示了CircuitNet在改进性能方面以比流行的神经网络架构拥有更少参数的潜力。实验展示了在各种任务中出色的结果，展示了该模型的有效性和在机器学习未来发展中的潜力。
2 创新点
（1）提出了一种受到神经元电路结构启发的新型神经网络——电路神经网络（CircuitNet）。该网络利用密集连接的神经元（称为电路基元单元，CMUs）来模拟通用电路结构，通过调整CMUs内的权重来进行建模。（2）CircuitNet 在各种机器学习任务中表现优异，如函数逼近、强化学习、图像分类和时间序列预测等领域，超越传统前馈网络。
（3）设计了包含反馈和侧向电路结构的CircuitNet，使其能够在各种任务中取得优异表现。
（4）通过在CMUs中包含不同类型的电路基元，并形成局部密集和全局稀疏的神经元连接，遵循人脑结构的原则，提高模型性能。
（5）实验结果证明，CircuitNet 在各种任务中表现出色，显示了其在减少参数的情况下改善性能的潜力。
3 相关研究
（1）基本概念
神经科学的一系列进展揭示了神经元通过各种连接模式相互交互，即电路图案（Luo, 2021）。存在四种最常见的电路图案类型，包括前馈兴奋和抑制、反馈抑制、侧向抑制和相互抑制。
（2）相关研究
《Towards biologically plausible deep learning.2015》生物启发网络：
《Recurrence is required to capture the representational dynamics of the human visual system，2019》《Going in circles is the way forward: the role of recurrence in visual inference，2020》模拟了人类大脑中级联结构内部和阶段之间的反复连接，深度神经网络中存在数据的差异。
《Accurate reconstruction of image stimuli from human functional magnetic resonance imaging based on the decoding model with capsule network architecture.2018》受人类视觉皮层中视觉信息表达的启发，胶囊神经网络向卷积神经网络添加了称为“胶囊”的结构，每个胶囊代表一个对象或对象部分，它们的组合形成更稳定的表达。
（3）启发
CircuitNet使用密集连接的神经元作为基本的功能结构，称为电路图元（CMU），以支持通用电路图案。不同CMU之间的通信是通过连接到CMU中特定神经元子集的稀疏连接实现的，即输入/输出端口。
本文启发于《Architectures of neuronal circuits》
4 算法
设计一个能模拟四种神经元连接模式（即电路模式）的转换函数，包括前馈、相互、反馈和侧向模式。在前馈和相互模式中，输入信号仅取决于前一个神经元的状态，而在另外两种模式中，输入信号可能会受到另一个神经元或目标神经元本身状态的影响。
（1）用自注意机制来表示为神经元关注
（2）模拟连接神经元之间的信号传输
其中 $ W_{ijk} $是一个可学习的参数，用来模拟来自xj，xk到xi的影响强度。除以2是为了消除二次项引起的梯度影响。神经元的乘积，用于模拟输入信号之间的相互作用。同时使用神经元之间的乘积和线性转换用于模拟通用电路模式。
（3）电路基元单元（CMU）组成CircuitNet
每个CMU单元有M个神经元。CMU之间通过它们的输入/输出端口稀疏连接。
其中，$ W_{ji} $是从第j个CMU到第i个CMU的可学习线性转换。$ P_{in} $、 $ P_{out} $是具有p个非零元素的二进制向量，标识哪些p个神经元是输入或输出端口，◦是逐元素乘法，处理接收或发送CMU信号时选择这些神经元。
5 思考
网络结构倒是挺简单的，就是论文没有提供源码，想知道如何实现的。
