Nature子刊:未经训练的神经网络也可以进行人脸检测

简介: Nature子刊:未经训练的神经网络也可以进行人脸检测
最近发表在《自然 · 通讯》上的一项新研究表明,高级的视觉认知功能可以在未经训练的神经网络中自发产生,面部图像的视觉选择性甚至可以在完全未经训练的深度神经网络中产生。


对于动物的社会行为(群体中不同成员分工合作,共同维持群体生活的行为)来说,检测和识别面孔的能力至关重要。这种能力被认为起源于单神经元或多神经元水平的神经元调谐(神经元有选择地表示一种感觉、协同、运动、认知等信息的特性)。

科学家已经在不同物种的幼小动物身上观察到对面孔有选择性反应的神经元,这引起了激烈的争论:面孔选择性神经元是大脑天生的,还是需要依赖视觉体验?

近日,韩国科学技术院(KAIST)生物脑工程系教授 Se-Bum Paik 领导的研究小组为这个问题贡献了一份颇具参考价值的结果。他们发现,即使是完全没有经过训练的深度神经网络,也可以产生对面孔图像的视觉选择性。具体来说,在完全没有学习的情况下,他们在随机初始化的深度神经网络中观察到对面孔图像有选择性的神经元活动,这些活动显示出在生物大脑中观察到的那些特征。

这项新研究发表在 12 月份的《自然 · 通讯》杂志上。它为生物和人工神经网络认知功能发展的潜在机制提供了具有启发性的见解,也对我们理解早期大脑功能(感官体验之前)的起源产生了重大影响。


论文链接:https://www.nature.com/articles/s41467-021-27606-9.pdf

利用捕捉视觉皮层腹侧流(ventral stream)特性的模型神经网络——AlexNet45,研究小组发现,面孔选择性可以在随机初始化的 DNN 的不同条件下稳健地出现。而且,它们的面孔选择性指数(FSI)与那些在大脑中观察到的面孔选择性神经元相当。


借助反向相关(RC)方法和生成对抗网络获得的优选特征图像(preferred feature image)表明,面孔选择单元对类面孔配置是有选择性的,与没有选择性的单元不同。此外,面孔选择单元使网络能够执行面孔检测。


有趣的是,研究者还发现,在未经训练的神经网络中,对各种非面孔对象的单元选择性也可以天生地产生,这意味着面孔选择性可能不是一种特殊类型的视觉调谐,而对各种对象类别的选择性也可以天生地在未经训练的 DNN 中产生,自发地由随机前馈连接产生。

这些结果暗示了一种可能的情况,即在早期未经训练的网络中发展的随机前馈连接可能足以初始化原始的视觉认知功能。

Paik 教授说:「我们的研究结果表明,即使在完全没有学习的情况下,先天认知功能也可以自发地从分层前馈投影电路中嵌入的统计复杂性中产生。研究结果提供了广泛的概念上的进步,以及对生物和人工神经网络先天功能发展背后机制的深入了解,后者有助于解开智能产生和进化的谜题。」

参考链接:https://techxplore.com/news/2021-12-untrained-deep-neural-networks.html

相关文章
|
机器学习/深度学习 PyTorch 算法框架/工具
目标检测实战(一):CIFAR10结合神经网络加载、训练、测试完整步骤
这篇文章介绍了如何使用PyTorch框架,结合CIFAR-10数据集,通过定义神经网络、损失函数和优化器,进行模型的训练和测试。
641 2
目标检测实战(一):CIFAR10结合神经网络加载、训练、测试完整步骤
|
5月前
|
机器学习/深度学习 人工智能 算法
AI 基础知识从 0.6 到 0.7—— 彻底拆解深度神经网络训练的五大核心步骤
本文以一个经典的PyTorch手写数字识别代码示例为引子,深入剖析了简洁代码背后隐藏的深度神经网络(DNN)训练全过程。
986 56
|
3月前
|
机器学习/深度学习 数据可视化 网络架构
PINN训练新思路:把初始条件和边界约束嵌入网络架构,解决多目标优化难题
PINNs训练难因多目标优化易失衡。通过设计硬约束网络架构,将初始与边界条件内嵌于模型输出,可自动满足约束,仅需优化方程残差,简化训练过程,提升稳定性与精度,适用于气候、生物医学等高要求仿真场景。
441 4
PINN训练新思路:把初始条件和边界约束嵌入网络架构,解决多目标优化难题
|
9月前
|
机器学习/深度学习 存储 算法
NoProp:无需反向传播,基于去噪原理的非全局梯度传播神经网络训练,可大幅降低内存消耗
反向传播算法虽是深度学习基石,但面临内存消耗大和并行扩展受限的问题。近期,牛津大学等机构提出NoProp方法,通过扩散模型概念,将训练重塑为分层去噪任务,无需全局前向或反向传播。NoProp包含三种变体(DT、CT、FM),具备低内存占用与高效训练优势,在CIFAR-10等数据集上达到与传统方法相当的性能。其层间解耦特性支持分布式并行训练,为无梯度深度学习提供了新方向。
416 1
NoProp:无需反向传播,基于去噪原理的非全局梯度传播神经网络训练,可大幅降低内存消耗
|
机器学习/深度学习 数据可视化 计算机视觉
目标检测笔记(五):详细介绍并实现可视化深度学习中每层特征层的网络训练情况
这篇文章详细介绍了如何通过可视化深度学习中每层特征层来理解网络的内部运作,并使用ResNet系列网络作为例子,展示了如何在训练过程中加入代码来绘制和保存特征图。
437 1
目标检测笔记(五):详细介绍并实现可视化深度学习中每层特征层的网络训练情况
|
11月前
|
机器学习/深度学习 文件存储 异构计算
YOLOv11改进策略【模型轻量化】| 替换骨干网络为EfficientNet v2,加速训练,快速收敛
YOLOv11改进策略【模型轻量化】| 替换骨干网络为EfficientNet v2,加速训练,快速收敛
1197 18
YOLOv11改进策略【模型轻量化】| 替换骨干网络为EfficientNet v2,加速训练,快速收敛
|
11月前
|
机器学习/深度学习 数据可视化 API
DeepSeek生成对抗网络(GAN)的训练与应用
生成对抗网络(GANs)是深度学习的重要技术,能生成逼真的图像、音频和文本数据。通过生成器和判别器的对抗训练,GANs实现高质量数据生成。DeepSeek提供强大工具和API,简化GAN的训练与应用。本文介绍如何使用DeepSeek构建、训练GAN,并通过代码示例帮助掌握相关技巧,涵盖模型定义、训练过程及图像生成等环节。
|
11月前
|
机器学习/深度学习 文件存储 异构计算
RT-DETR改进策略【模型轻量化】| 替换骨干网络为EfficientNet v2,加速训练,快速收敛
RT-DETR改进策略【模型轻量化】| 替换骨干网络为EfficientNet v2,加速训练,快速收敛
285 1
|
人工智能 搜索推荐 决策智能
不靠更复杂的策略,仅凭和大模型训练对齐,零样本零经验单LLM调用,成为网络任务智能体新SOTA
近期研究通过调整网络智能体的观察和动作空间,使其与大型语言模型(LLM)的能力对齐,显著提升了基于LLM的网络智能体性能。AgentOccam智能体在WebArena基准上超越了先前方法,成功率提升26.6个点(+161%)。该研究强调了与LLM训练目标一致的重要性,为网络任务自动化提供了新思路,但也指出其性能受限于LLM能力及任务复杂度。论文链接:https://arxiv.org/abs/2410.13825。
242 12
|
机器学习/深度学习 自然语言处理 语音技术
Python在深度学习领域的应用,重点讲解了神经网络的基础概念、基本结构、训练过程及优化技巧
本文介绍了Python在深度学习领域的应用,重点讲解了神经网络的基础概念、基本结构、训练过程及优化技巧,并通过TensorFlow和PyTorch等库展示了实现神经网络的具体示例,涵盖图像识别、语音识别等多个应用场景。
464 8

热门文章

最新文章