Processing math: 100%

【博士每天一篇文献-算法】CircuitNet:A Generic Neural Network to Realize Universal Circuit Motif Modeling

简介: 本文介绍了CircuitNet,这是一种新型神经网络,它受到神经回路结构的启发,通过使用电路基元单元(CMUs)来模拟通用电路基元,并通过调整CMU内部权重来实现建模,在多种机器学习任务中展现出优于传统前馈网络的性能。

阅读时间:2023-11-28

1 介绍

年份:2023
作者:王燕森、姜新阳,微软研究院
期刊: International Conference on Machine Learning. PMLR, 2023
引用量:0

这篇论文介绍了电路神经网络(CircuitNet),这是一种受神经回路结构启发的新型神经网络。CircuitNet使用称为电路基元单元(CMUs)的密集连接神经元来模拟通用电路基元通过调整CMU内的权重。通过整合反馈和横向结构,CircuitNet在各种机器学习任务中表现出优于传统前馈网络的性能,如函数逼近、强化学习、图像分类和时间序列预测。CircuitNet的设计遵循包含不同类型电路基元和形成局部密集和全局稀疏神经元连接的原则,灵感来自人类大脑的结构。该文档强调了神经科学对深度学习的启发作用,并展示了CircuitNet在改进性能方面以比流行的神经网络架构拥有更少参数的潜力。实验展示了在各种任务中出色的结果,展示了该模型的有效性和在机器学习未来发展中的潜力。

2 创新点

(1)提出了一种受到神经元电路结构启发的新型神经网络——电路神经网络(CircuitNet)。该网络利用密集连接的神经元(称为电路基元单元,CMUs)来模拟通用电路结构,通过调整CMUs内的权重来进行建模。(2)CircuitNet 在各种机器学习任务中表现优异,如函数逼近、强化学习、图像分类和时间序列预测等领域,超越传统前馈网络。
(3)设计了包含反馈和侧向电路结构的CircuitNet,使其能够在各种任务中取得优异表现。
(4)通过在CMUs中包含不同类型的电路基元,并形成局部密集和全局稀疏的神经元连接,遵循人脑结构的原则,提高模型性能。
(5)实验结果证明,CircuitNet 在各种任务中表现出色,显示了其在减少参数的情况下改善性能的潜力。

3 相关研究

(1)基本概念
神经科学的一系列进展揭示了神经元通过各种连接模式相互交互,即电路图案(Luo, 2021)。存在四种最常见的电路图案类型,包括前馈兴奋和抑制、反馈抑制、侧向抑制和相互抑制。
截屏2024-03-08 下午2.30.50.png
(2)相关研究
《Towards biologically plausible deep learning.2015》生物启发网络:
《Recurrence is required to capture the representational dynamics of the human visual system,2019》《Going in circles is the way forward: the role of recurrence in visual inference,2020》模拟了人类大脑中级联结构内部和阶段之间的反复连接,深度神经网络中存在数据的差异。
《Accurate reconstruction of image stimuli from human functional magnetic resonance imaging based on the decoding model with capsule network architecture.2018》受人类视觉皮层中视觉信息表达的启发,胶囊神经网络向卷积神经网络添加了称为“胶囊”的结构,每个胶囊代表一个对象或对象部分,它们的组合形成更稳定的表达。

(3)启发
CircuitNet使用密集连接的神经元作为基本的功能结构,称为电路图元(CMU),以支持通用电路图案。不同CMU之间的通信是通过连接到CMU中特定神经元子集的稀疏连接实现的,即输入/输出端口。
本文启发于《Architectures of neuronal circuits》

4 算法

设计一个能模拟四种神经元连接模式(即电路模式)的转换函数,包括前馈、相互、反馈和侧向模式。在前馈和相互模式中,输入信号仅取决于前一个神经元的状态,而在另外两种模式中,输入信号可能会受到另一个神经元或目标神经元本身状态的影响。
(1)用自注意机制来表示为神经元关注

(2)模拟连接神经元之间的信号传输
截屏2024-03-08 下午2.59.38.png
其中 Wijk​是一个可学习的参数,用来模拟来自xj​,xk​到xi​的影响强度。除以2是为了消除二次项引起的梯度影响。神经元的乘积,用于模拟输入信号之间的相互作用。同时使用神经元之间的乘积和线性转换用于模拟通用电路模式。
(3)电路基元单元(CMU)组成CircuitNet
每个CMU单元有M个神经元。CMU之间通过它们的输入/输出端口稀疏连接。
截屏2024-03-08 下午3.07.29.png
其中,Wji是从第j个CMU到第i个CMU的可学习线性转换。PinPout是具有p个非零元素的二进制向量,标识哪些p个神经元是输入或输出端口,◦是逐元素乘法,处理接收或发送CMU信号时选择这些神经元。
截屏2024-03-08 下午3.04.16.png

5 思考

网络结构倒是挺简单的,就是论文没有提供源码,想知道如何实现的。

目录
打赏
0
3
3
0
154
分享
相关文章
【博士每天一篇文献-算法】连续学习算法之HAT: Overcoming catastrophic forgetting with hard attention to the task
本文介绍了一种名为Hard Attention to the Task (HAT)的连续学习算法,通过学习几乎二值的注意力向量来克服灾难性遗忘问题,同时不影响当前任务的学习,并通过实验验证了其在减少遗忘方面的有效性。
172 12
【博士每天一篇文献-算法】持续学习经典算法之LwF: Learning without forgetting
LwF(Learning without Forgetting)是一种机器学习方法,通过知识蒸馏损失来在训练新任务时保留旧任务的知识,无需旧任务数据,有效解决了神经网络学习新任务时可能发生的灾难性遗忘问题。
580 9
【博士每天一篇文献-算法】改进的PNN架构Lifelong learning with dynamically expandable networks
本文介绍了一种名为Dynamically Expandable Network(DEN)的深度神经网络架构,它能够在学习新任务的同时保持对旧任务的记忆,并通过动态扩展网络容量和选择性重训练机制,有效防止语义漂移,实现终身学习。
132 9
【博士每天一篇文献-算法】 PNN网络启发的神经网络结构搜索算法Progressive neural architecture search
本文提出了一种名为渐进式神经架构搜索(Progressive Neural Architecture Search, PNAS)的方法,它使用顺序模型优化策略和替代模型来逐步搜索并优化卷积神经网络结构,从而提高了搜索效率并减少了训练成本。
131 9
【博士每天一篇文献-算法】连续学习算法之HNet:Continual learning with hypernetworks
本文提出了一种基于任务条件超网络(Hypernetworks)的持续学习模型,通过超网络生成目标网络权重并结合正则化技术减少灾难性遗忘,实现有效的任务顺序学习与长期记忆保持。
118 4
【博士每天一篇文献-算法】改进的PNN架构Progressive learning A deep learning framework for continual learning
本文提出了一种名为“Progressive learning”的深度学习框架,通过结合课程选择、渐进式模型容量增长和剪枝机制来解决持续学习问题,有效避免了灾难性遗忘并提高了学习效率。
223 4
【博士每天一篇文献-算法】连续学习算法之RWalk:Riemannian Walk for Incremental Learning Understanding
RWalk算法是一种增量学习框架,通过结合EWC++和修改版的Path Integral算法,并采用不同的采样策略存储先前任务的代表性子集,以量化和平衡遗忘和固执,实现在学习新任务的同时保留旧任务的知识。
217 3
【博士每天一篇文献-算法】Neurogenesis Dynamics-inspired Spiking Neural Network Training Acceleration
NDSNN(Neurogenesis Dynamics-inspired Spiking Neural Network)是一种受神经发生动态启发的脉冲神经网络训练加速框架,通过动态稀疏性训练和新的丢弃与生长策略,有效减少神经元连接数量,降低训练内存占用并提高效率,同时保持高准确性。
105 3
基于GA遗传算法的悬索桥静载试验车辆最优布载matlab仿真
本程序基于遗传算法(GA)实现悬索桥静载试验车辆最优布载的MATLAB仿真(2022A版)。目标是自动化确定车辆位置,使加载效率ηq满足0.95≤ηq≤1.05且尽量接近1,同时减少车辆数量与布载时间。核心原理通过优化模型平衡最小车辆使用与ηq接近1的目标,并考虑桥梁载荷、车辆间距等约束条件。测试结果展示布载方案的有效性,适用于悬索桥承载能力评估及性能检测场景。
基于双向RRT算法的三维空间最优路线规划matlab仿真
本程序基于双向RRT算法实现三维空间最优路径规划,适用于机器人在复杂环境中的路径寻找问题。通过MATLAB 2022A测试运行,结果展示完整且无水印。算法从起点和终点同时构建两棵随机树,利用随机采样、最近节点查找、扩展等步骤,使两棵树相遇以形成路径,显著提高搜索效率。相比单向RRT,双向RRT在高维或障碍物密集场景中表现更优,为机器人技术提供了有效解决方案。

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等