日本科学家的AI读心术,解码脑电波,还原人眼所见

简介: 想象一下,如果电脑可以把你心中所想表现出来会怎样。 听起来感觉太遥远?然而最近,四位来自日本京都大学的科学家的研究成果,让这样的想象离落地更进一步。Shen Guohua、Tomoyasu Horikawa、Kei Majima 和Yukiyasu Kamitani在BioRxiv上发表了他们利用AI来解码人类思维的研究成果。

想象一下,如果电脑可以把你心中所想表现出来会怎样。

听起来感觉太遥远?然而最近,四位来自日本京都大学的科学家的研究成果,让这样的想象离落地更进一步。Shen Guohua、Tomoyasu Horikawa、Kei Majima 和Yukiyasu Kamitani在BioRxiv上发表了他们利用AI来解码人类思维的研究成果。

机器学习以前就曾被用来研究脑部扫描(MRI,即核磁共振)。给人类看一些简单的图像,比如黑白字母、简单的几何图形,AI能根据脑部活动的信号图还原人眼所见的图像。这一研究成果曾发表在著名刊物Neurons上。

df42c1587d764edf1b490859d2b7405d026250ca

还原效果还不错

不过这次,京都的这些科学家们开发了一种新技术,利用人工智能中的深度神经网络(deep neural networks) 来“解码”思想。这种新技术让科学家们能够解码更复杂的分层图像,即拥有多层颜色和结构的照片(比如一只鸟,或一个戴着牛仔帽的人)。看一下动图。左边是人眼看到的图像,右边是机器还原的图像。

4dca3c5f973fa5b08a43ec0e1affd4e869854f0e

有点恐怖= =

“我们一直在研究通过观察人类大脑活动来重建或重现图像的方法。”其中一位科学家Kamitani表示,“以前我们假设图像是由像素或简单的形状组成的,但众所周知,大脑处理视觉信息时会分层次地提取不同层次上复杂度各不相同的的特征或其他信息。”

新的AI研究成果可以让计算机检测物体,而不仅仅是二进制像素。Kamitani说:“这些神经网络构成的AI模型可以用来表示人脑的层次性结构。”

在这项持续10个月的研究中,研究人员给三位受试人员分别展示一段时间的自然图像(比如鸟或人的照片)、抽象几何形状或字母。

e9f9d2559fafd9085a8d098b018d6116df0c1eb6

第一排是受试者所见到的图片,

后面几排是AI根据3位受试者

对这些图片的不同印象生成的还原图。

在一部分测试中,当正在观看25张图像中的一张时,研究人员会测量记录受试人员的大脑活动。在另一部分的测试中,对大脑活动的记录是在之后受试人员回想图像时进行的。

测量完大脑活动之后,计算机把收集到的信息逆向解码(reverse-engineering)并生成受试人员心中所想的图像。

下面展示的流程图由京都大学Kamitani实验室的研究小组制作,并一步一步分解了这种可视化图像是如何被解码生成的。

92bb89a196306ca94a1407b1d2df5c9ec24d72af

下面两张图显示了受试者观看自然图像或者字母的图像时大脑活动的计算机重建结果。

27aee80629a6de95b1382dc878f2af5103981c2f

用DGN技术生成的其他一些自然景观图像的重建结果。

黑框和灰框的图像分别是原图

和用DNN网络基于VC活动数据重建之后的图像,

三张重建的图片分别来自三位受试人员。

5aa344b539f33081f02a1cde70f8fcf24aaac8df

字母序列的所有重建结果

在另一组受试者观看图片后的回想过程中进行的脑电波测量实验上,科学家们又有了新的突破。

Kamitani说:“和以前不一样的是,采用我们的方法可以重建人类在逐渐回忆过程中脑海里出现的那些模糊的影像。”

如下面的图表所示,当试图解码人们回想图像过程中产生的脑信号时,AI系统重建出的结果就没那么好。那是因为,比起自然图像或字母,人类更难完全确切地记住猎豹或鱼的形象。

8460beb9d67ecde87c933a78d01ff8048a9fde2a

一些含复杂形象的图片的重建结果。

右下角的图片作为空白对照,

是根据测试过程中未被展示图片时受试产生的脑信号重建的。

“出现这样的结果是因为,那个时候大脑的被激活的程度变弱了。”Kamitani解释道。

他还提到,随着技术的精确度正在不断提高,这一研究成果潜在的应用前景无可限量。

人们可以简单地通过想象来绘制图片或进行艺术创作;你的梦想可以被计算机画出来;可以通过形象化精神病患者的幻觉帮助改善对他们的照顾;而脑机接口可能有一天会实现人与人之间进行想法或脑海中的图像的直接交流,而不再限于语言。

虽然电脑读心这种事现在听起来可能来自使用脑电波交流的三体星人,但这些日本研究人员在这一联系大脑与计算设备的前沿研究中并不是孤军奋战。

比如,前GoogleX员工 Mary Lou Jepsen致力于在十年内打造一顶可以实现心灵感应的帽子,而企业家Bryan Johnson正在尝试构建可以植入大脑以改善神经功能的计算机芯片。更不用说Elon Musk的脑机接口公司Neuralink


原文发布时间为:2018-03-22

本文作者:文摘菌

本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“大数据文摘”微信公众号

相关文章
|
1月前
|
存储 人工智能 关系型数据库
拥抱Data+AI|解码Data+AI助力游戏日志智能分析
「拥抱Data+AI」系列第2篇:阿里云DMS+AnalyticDB助力游戏日志数据分析与预测
拥抱Data+AI|解码Data+AI助力游戏日志智能分析
|
1月前
|
存储 人工智能 关系型数据库
拥抱Data+AI|玩家去哪儿了?解码Data+AI如何助力游戏日志智能分析
本文为阿里云瑶池数据库「拥抱Data+AI」系列连载第2篇,基于真实客户案例和最佳实践,探讨如何利用阿里云Data+AI解决方案应对游戏行业挑战,通过AI为游戏行业注入新的活力。文章详细介绍了日志数据的实时接入、高效查询、开源开放及AI场景落地,展示了完整的Data+AI解决方案及其实际应用效果。
|
1月前
|
人工智能
AI科学家太多,谁靠谱一试便知!普林斯顿新基准CORE-Bench:最强模型仅有21%准确率
【10月更文挑战第21天】普林斯顿大学研究人员提出了CORE-Bench,一个基于计算可重复性的AI代理基准,涵盖计算机科学、社会科学和医学领域的270个任务。该基准旨在评估AI代理在科学研究中的准确性,具有多样性、难度级别和现实相关性等特点,有助于推动AI代理的发展并提高计算可重复性。
55 4
|
2月前
|
人工智能 自然语言处理
召唤100多位学者打分,斯坦福新研究:AI科学家创新确实强
【10月更文挑战第6天】斯坦福大学最新研究评估了大型语言模型(LLMs)在生成新颖研究想法方面的能力,通过100多位NLP专家盲评LLMs与人类研究人员提出的想法。结果显示,LLMs在新颖性方面超越人类(p < 0.05),但在可行性上略逊一筹。研究揭示了LLMs作为科研工具的潜力与挑战,并提出了进一步验证其实际效果的设计。论文详见:https://arxiv.org/abs/2409.04109。
49 6
|
2月前
|
机器学习/深度学习 存储 人工智能
2024年诺贝尔奖:AI科学家的辉煌时刻 | AI大咖说
在今年的诺贝尔物理学奖和化学奖颁奖典礼上,AI科学家分别摘得了这两项殊荣,这无疑为AI技术的发展和应用注入了新的动力【10月更文挑战第5天】
87 0
|
3月前
|
人工智能 数据处理
Nature:AI让抄袭问题更加复杂,科学家该如何应对?
【9月更文挑战第16天】《自然》杂志一篇文章指出,AI在科研领域的应用日益增长,带来了加速数据处理、提升计算效率等益处,同时也引发了对科学标准、数据偏见及研究诚信的挑战。一项针对1600多名研究人员的调查显示,超半数认为未来十年AI将成为其研究领域不可或缺的工具。AI能够显著提升科研效率,但也可能增加对模式识别的依赖,加剧数据偏见,并引发研究不可重复性等问题。尤其是大型语言模型如ChatGPT,虽有助于改进论文语法和翻译,但也可能传播错误信息。此外,部分科学家面临计算资源和高质量数据不足等使用障碍。
53 3
|
6月前
|
机器学习/深度学习 人工智能 数据挖掘
LREC 2024:汪汪to Vector!密歇根博士生用AI解码狗的声音
【6月更文挑战第18天】在LREC 2024会议上,密歇根大学博士生展示了如何用AI解码狗叫声。研究团队应用Wav2Vec2模型,原本用于人类语音识别,来分类狗的叫声,包括情绪、品种、性别和上下文。实验显示,模型准确度提升超20%,但研究尚局限于特定品种,且依赖标注数据。[链接:https://arxiv.org/pdf/2404.18739](https://arxiv.org/pdf/2404.18739)
154 1
|
7月前
|
机器学习/深度学习 人工智能 语音技术
AI让失语者重新说话!纽约大学发布全新神经-语音解码器
【5月更文挑战第19天】纽约大学研发的神经-语音解码器,结合深度学习与语音合成,为失语者带来新希望。此脑机接口技术能将大脑神经信号转化为语音参数,再通过合成器转为可听语音。使用癫痫患者的数据进行训练,解码器已成功重现语音,尽管质量有待提升。该技术有望革新沟通方式,但也面临数据复杂性、隐私保护及社会接受度等挑战。[论文链接](https://www.nature.com/articles/s42256-024-00824-8)
82 5
|
7月前
|
人工智能 计算机视觉
CVPR 2024:跳舞时飞扬的裙摆,AI也能高度还原了,南洋理工提出动态人体渲染新范式
【5月更文挑战第6天】南洋理工大学研究团队在CVPR 2024会议上提出SurMo,一种动态人体渲染新方法,能高度还原视频中的人物动作和细节,如飞扬的裙摆。SurMo通过4D运动建模,结合表面运动编码、物理运动解码和4D外观解码,实现动态图像的精确合成。尽管面临复杂动作捕捉和计算资源需求的挑战,SurMo在动态人体渲染任务上表现出色,展现了表面基运动三角平面的强大表达能力。[论文链接](https://arxiv.org/pdf/2404.01225.pdf)
169 1
|
7月前
|
机器学习/深度学习 人工智能 达摩院
DDColor:AI图像着色工具,优秀的黑白图像上色模型,支持双解码器!
DDColor:AI图像着色工具,优秀的黑白图像上色模型,支持双解码器!
404 3