Nature子刊:未经训练的神经网络也可以进行人脸检测

简介: Nature子刊:未经训练的神经网络也可以进行人脸检测
最近发表在《自然 · 通讯》上的一项新研究表明,高级的视觉认知功能可以在未经训练的神经网络中自发产生,面部图像的视觉选择性甚至可以在完全未经训练的深度神经网络中产生。


对于动物的社会行为(群体中不同成员分工合作,共同维持群体生活的行为)来说,检测和识别面孔的能力至关重要。这种能力被认为起源于单神经元或多神经元水平的神经元调谐(神经元有选择地表示一种感觉、协同、运动、认知等信息的特性)。

科学家已经在不同物种的幼小动物身上观察到对面孔有选择性反应的神经元,这引起了激烈的争论:面孔选择性神经元是大脑天生的,还是需要依赖视觉体验?

近日,韩国科学技术院(KAIST)生物脑工程系教授 Se-Bum Paik 领导的研究小组为这个问题贡献了一份颇具参考价值的结果。他们发现,即使是完全没有经过训练的深度神经网络,也可以产生对面孔图像的视觉选择性。具体来说,在完全没有学习的情况下,他们在随机初始化的深度神经网络中观察到对面孔图像有选择性的神经元活动,这些活动显示出在生物大脑中观察到的那些特征。

这项新研究发表在 12 月份的《自然 · 通讯》杂志上。它为生物和人工神经网络认知功能发展的潜在机制提供了具有启发性的见解,也对我们理解早期大脑功能(感官体验之前)的起源产生了重大影响。


论文链接:https://www.nature.com/articles/s41467-021-27606-9.pdf

利用捕捉视觉皮层腹侧流(ventral stream)特性的模型神经网络——AlexNet45,研究小组发现,面孔选择性可以在随机初始化的 DNN 的不同条件下稳健地出现。而且,它们的面孔选择性指数(FSI)与那些在大脑中观察到的面孔选择性神经元相当。


借助反向相关(RC)方法和生成对抗网络获得的优选特征图像(preferred feature image)表明,面孔选择单元对类面孔配置是有选择性的,与没有选择性的单元不同。此外,面孔选择单元使网络能够执行面孔检测。


有趣的是,研究者还发现,在未经训练的神经网络中,对各种非面孔对象的单元选择性也可以天生地产生,这意味着面孔选择性可能不是一种特殊类型的视觉调谐,而对各种对象类别的选择性也可以天生地在未经训练的 DNN 中产生,自发地由随机前馈连接产生。

这些结果暗示了一种可能的情况,即在早期未经训练的网络中发展的随机前馈连接可能足以初始化原始的视觉认知功能。

Paik 教授说:「我们的研究结果表明,即使在完全没有学习的情况下,先天认知功能也可以自发地从分层前馈投影电路中嵌入的统计复杂性中产生。研究结果提供了广泛的概念上的进步,以及对生物和人工神经网络先天功能发展背后机制的深入了解,后者有助于解开智能产生和进化的谜题。」

参考链接:https://techxplore.com/news/2021-12-untrained-deep-neural-networks.html

相关文章
|
3月前
|
机器学习/深度学习 PyTorch 算法框架/工具
目标检测实战(一):CIFAR10结合神经网络加载、训练、测试完整步骤
这篇文章介绍了如何使用PyTorch框架,结合CIFAR-10数据集,通过定义神经网络、损失函数和优化器,进行模型的训练和测试。
179 2
目标检测实战(一):CIFAR10结合神经网络加载、训练、测试完整步骤
|
3月前
|
机器学习/深度学习 数据可视化 计算机视觉
目标检测笔记(五):详细介绍并实现可视化深度学习中每层特征层的网络训练情况
这篇文章详细介绍了如何通过可视化深度学习中每层特征层来理解网络的内部运作,并使用ResNet系列网络作为例子,展示了如何在训练过程中加入代码来绘制和保存特征图。
70 1
目标检测笔记(五):详细介绍并实现可视化深度学习中每层特征层的网络训练情况
|
2月前
|
机器学习/深度学习 自然语言处理 语音技术
Python在深度学习领域的应用,重点讲解了神经网络的基础概念、基本结构、训练过程及优化技巧
本文介绍了Python在深度学习领域的应用,重点讲解了神经网络的基础概念、基本结构、训练过程及优化技巧,并通过TensorFlow和PyTorch等库展示了实现神经网络的具体示例,涵盖图像识别、语音识别等多个应用场景。
68 8
|
3月前
|
机器学习/深度学习 数据采集 算法
目标分类笔记(一): 利用包含多个网络多种训练策略的框架来完成多目标分类任务(从数据准备到训练测试部署的完整流程)
这篇博客文章介绍了如何使用包含多个网络和多种训练策略的框架来完成多目标分类任务,涵盖了从数据准备到训练、测试和部署的完整流程,并提供了相关代码和配置文件。
72 0
目标分类笔记(一): 利用包含多个网络多种训练策略的框架来完成多目标分类任务(从数据准备到训练测试部署的完整流程)
|
3月前
|
机器学习/深度学习 算法 TensorFlow
深度学习笔记(五):学习率过大过小对于网络训练有何影响以及如何解决
学习率是深度学习中的关键超参数,它影响模型的训练进度和收敛性,过大或过小的学习率都会对网络训练产生负面影响,需要通过适当的设置和调整策略来优化。
600 0
深度学习笔记(五):学习率过大过小对于网络训练有何影响以及如何解决
|
4月前
|
机器学习/深度学习 人工智能 自然语言处理
深度学习还不如浅层网络?RL教父Sutton持续反向传播算法登Nature
【9月更文挑战第24天】近年来,深度学习在人工智能领域取得巨大成功,但在连续学习任务中面临“损失可塑性”问题,尤其在深度强化学习中更为突出。加拿大阿尔伯塔大学的研究人员提出了一种名为“持续反向传播”的算法,通过选择性地重新初始化网络中的低效用单元,保持模型的可塑性。该算法通过评估每个连接和权重的贡献效用来决定是否重新初始化隐藏单元,并引入成熟度阈值保护新单元。实验表明,该算法能显著提升连续学习任务的表现,尤其在深度强化学习领域效果明显。然而,算法也存在计算复杂性和成熟度阈值设置等问题。
81 2
|
4月前
|
机器学习/深度学习 人工智能 自然语言处理
Nature子刊:基于内生复杂性,自动化所新类脑网络构筑人工智能与神经科科学的桥梁
【9月更文挑战第11天】中国科学院自动化研究所的研究人员提出了一种基于内生复杂性的新型类脑网络模型,通过模拟人脑内部神经元间的复杂互动来提升AI系统的智能与适应性。此模型利用图神经网络(GNN)并设计分层图结构对应人脑不同功能区,引入自适应机制根据输入数据调整结构。实验表明,此模型在图像分类及自然语言处理等任务中表现出显著提升的性能,并且处理复杂数据时更具备适应性和鲁棒性。论文链接:https://www.nature.com/articles/s43588-024-00674-9。
73 7
|
3月前
|
机器学习/深度学习 算法
【机器学习】揭秘反向传播:深度学习中神经网络训练的奥秘
【机器学习】揭秘反向传播:深度学习中神经网络训练的奥秘
|
4月前
|
机器学习/深度学习 数据采集 数据可视化
深度学习实践:构建并训练卷积神经网络(CNN)对CIFAR-10数据集进行分类
本文详细介绍如何使用PyTorch构建并训练卷积神经网络(CNN)对CIFAR-10数据集进行图像分类。从数据预处理、模型定义到训练过程及结果可视化,文章全面展示了深度学习项目的全流程。通过实际操作,读者可以深入了解CNN在图像分类任务中的应用,并掌握PyTorch的基本使用方法。希望本文为您的深度学习项目提供有价值的参考与启示。
|
17天前
|
SQL 安全 网络安全
网络安全与信息安全:知识分享####
【10月更文挑战第21天】 随着数字化时代的快速发展,网络安全和信息安全已成为个人和企业不可忽视的关键问题。本文将探讨网络安全漏洞、加密技术以及安全意识的重要性,并提供一些实用的建议,帮助读者提高自身的网络安全防护能力。 ####
58 17