让失声群体重获“新声”,脑机接口领域现重大突破

简介: 研究团队研发出一款解码器,能够利用人工智能基于大脑数据合成语音。

研究团队研发出一款解码器,能够利用人工智能基于大脑数据合成语音。

日前,学术期刊《自然》在线发表了一篇文章,其中涉及一种解码器,能够将大脑神经信号转化为语音,帮助无法说话的患者实现发声交流。

TB1cHKYSNYaK1RjSZFnXXa80pXa.jpg

据了解,该解码器由加州大学旧金山分校的神经外科学家Edward Chang教授与其同事一同开发。他们采用了一种叫做“高密度脑皮层电图”的技术,能够基于癫痫患者脑中被植入的电极(医疗监测需要)所传出的数据,直接记录下受试者大脑皮层的神经活动。

过程中,受试者会被要求大声读出几百条句子,研究人员则会同步记录他们大脑腹侧感觉运动皮层区的神经活动,这里是大脑的语音产生中心。

随后,研究人员将利用循环神经网络破译采集到的神经信号,其中涉及两个步骤:第一步,他们将神经信号转换为表征发音器动作的信号,包括下巴、喉、嘴唇和舌头动作相关的脑信号;第二步,他们则根据解码出来的发音器官动作,把信号转换为说出的语句。

TB1GI1KSQvoK1RjSZFDXXXY3pXa.jpg

为了验证自己的成果,研究人员已经在亚马逊的众包任务平台Mechanical Turk上招募了听众,来辨认解码器合成的语音,测试内容包括325个单词和101局整句。结果显示,听众能够成功的识别出单词,和对自然语音的感知模式一样。

对于这一测试结果,第一作者Gopala Anumanchipalli博士表示,该结果意味着这种神经合成语音对于现实世界的应用来说已经达到即刻听懂的实用程度。

此外,研究人员还进行了另一项测试,让受试者用默读的方式读出同一个句子。结果显示,无声言语的合成效果不如有声言语。但Edward Chang表示,虽然语音解码的准确性大大降低,但受试者在没有声音的情况下模仿发声仍然可以进行语音合成。至于那些已经丧失语音相关动作能力的群体,该系统的是适用性还需要进一步研究。

针对这一项研究成果,生物工程学教授Chethan Pandarinath等人在文章评论中表示,这一系统要成为一个临床可行的语音合成脑机接口,还存在许多挑战。但可以肯定的是,脑机接口技术的持续进步可以让存在发声障碍问题的群体重新获得“说话”的能力。

相关文章
|
6月前
|
机器学习/深度学习 自然语言处理 算法
【深藏功与名】揭秘大模型背后的真相:为何它们常让人欢喜让人忧,又该如何破局?
【10月更文挑战第5天】近年来,随着计算资源和算法的提升,大规模深度学习模型在自然语言处理和计算机视觉领域取得了显著成就,但也引发了“大模型幻觉”的讨论。该现象指模型虽在特定任务上表现出色,但在实际应用中存在过度拟合和泛化能力差等问题。本文分析了大模型的底层逻辑,并通过PyTorch代码示例展示了如何使用L2正则化缓解过度拟合。此外,还介绍了通过数据增强提高模型泛化能力的方法。未来研究需进一步平衡模型复杂度与泛化能力,以实现更佳性能。
96 0
|
人工智能 运维 数据可视化
【年终特辑】看见科技创新力量 洞见时代创业精神—ARVR—外号科技:光场交互技术将虚拟与现实融合
【年终特辑】看见科技创新力量 洞见时代创业精神—ARVR—外号科技:光场交互技术将虚拟与现实融合
151 0
|
机器学习/深度学习 传感器 算法
中外专家共同论道 | 人脑与机器渐行渐近,脑机接口「黑科技」照进现实
中外专家共同论道 | 人脑与机器渐行渐近,脑机接口「黑科技」照进现实
212 0
|
机器学习/深度学习 人工智能 达摩院
从憧憬中来,到革新里去,记录科技改变世界的魔幻之年 | 趋势预测
从憧憬中来,到革新里去,记录科技改变世界的魔幻之年 | 趋势预测
186 0
从憧憬中来,到革新里去,记录科技改变世界的魔幻之年 | 趋势预测
|
机器学习/深度学习 人工智能 编解码
产品视频被曝合成,用GAN造出4个工程师,10天众筹3万美元,这家初创公司火了
产品视频被曝合成,用GAN造出4个工程师,10天众筹3万美元,这家初创公司火了
183 0
眼球网站经济学之我见——符号化的意义,互联网营销
  “钱不是万能的,但没钱却是万万不能的!”这种调侃很流行,我想也应该有不少人能够在总体上认同——谁不食人间烟火啊!不过有的时候钱确实是很难衡量,甚至会失去作用的,比如为国捐躯、无私奉献、天灾人祸等。也许有人会因此得出一个金钱很俗的结论,那么我在这里就要试图解决两个问题:将人类的感情色彩去处后,还原金钱的本质;以及将这种本质应用到虚拟世界之中。
1484 0
|
自动驾驶
FBI为何逮捕华人工程师?苹果无人车诉讼案曝光七大内幕
昨天,前苹果员工华人工程师张晓浪涉嫌窃取苹果无人驾驶汽车项目机密被FBI逮捕的消息在网上传得沸沸扬扬。而在诉讼文件中,我们找到了苹果无人车的7件技术相关细节。
1906 0
|
机器学习/深度学习 人工智能 物联网
今日科技联播:外星语言专家,已经开始讨论与外星人交流会面临的挑战?!
大家好,我是今日科技联播的主持人柚!子!菌!今天科技界比较平静,我挑选了几条必考的给大家播报一下。
1317 0
|
算法
算法学习之路|挖掘机技术哪家强
为了用事实说明挖掘机技术到底哪家强,PAT组织了一场挖掘机技能大赛。现请你根据比赛结果统计出技术最强的那个学校。
1572 0
下一篇
oss创建bucket