华裔教授AI解码脑电波,上演现实版“读脑术”,大脑所想直接合成文本或语音!

本文涉及的产品
文本翻译,文本翻译 100万字符
文档翻译,文档翻译 1千页
语种识别,语种识别 100万字符
简介: 许多患有神经疾病的患者因丧失语言能力,需要依赖特定的通讯设备进行沟通,这类设备大多利用脑机接口或者头部、眼睛的动作来控制光标,以选择屏幕上的字母,从而拼出他们想说的句子。但是,这个蹦单词的过程,实在无法与人类的正常说话过程相比。

云栖号资讯:【点击查看更多行业资讯
在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来!

许多患有神经疾病的患者因丧失语言能力,需要依赖特定的通讯设备进行沟通,这类设备大多利用脑机接口或者头部、眼睛的动作来控制光标,以选择屏幕上的字母,从而拼出他们想说的句子。但是,这个蹦单词的过程,实在无法与人类的正常说话过程相比。

3 月 30 日,《自然-神经科学》发表了美国加州大学旧金山分校华裔教授 Edward Chang 及同事开发的一款脑电波 AI 解码器,能够将大脑活动信号直接转化为句子文本。

image

具体而言,研究人员首先通过电极记录受试者说话时的神经活动信号,并用特定语句和神经信号特征之间的关联数据训练 AI 算法,试验证明,训练后的机器翻译算法能够准确地解码受试者的神经活动,并将其接近实时地翻译为句子文本,错误率低至 3%。

从大脑“读取”人的意图

说话似乎是一件毫不费力的事,但实际上说话却是人类执行的最复杂的活动之一。十多年前,科学家首次从大脑信号中解码语言,但是一直以来,语言解码的准确性和速度远远低于自然语言交流。

目前一些用于大脑控制打字的脑机接口技术,其实依赖的是头部或眼睛的残余非语言运动,或者依赖于光标控制以逐个选择字母并拼出单词,这种方式目前可以帮助瘫痪的人通过设备每分钟输出多达 8 个单词。

但与流程自然语言交流时每分钟 150 个单词的平均速度比起来,现有技术的输出速度还是太慢了。

image
使用特制语音合成器与外界交流的史蒂芬·霍金

理论上来说,脑机接口技术可以通过直接从大脑“读取”人的意图,并使用该信息来控制外部设备或移动瘫痪的肢体,来帮助瘫痪的人完成说话或运动。

为了获得脑机接口直接解码语言更高的精度,研究人员利用了机器翻译任务与从神经活动解码语音到的相似性。也就是说,和机器翻译类似,解码语言也是从一种语言到另一种语言的算法翻译,两种任务实际上映射到同一种输出,即与一个句子对应的单词序列。只不过,机器翻译的输入内容是文本,而解码语言的输入内容是神经信号。

于是,研究人员盘点了机器翻译领域的最新进展,并利用这些方法训练循环神经网络,然后尝试将神经信号直接映射为句子。

image
语言相关的神经活动解码过程

具体而言,研究人员通过电极记录四名受试者他们大声读出句子时的神经活动。之后,研究人员将这些数据添加到一个循环神经网络中,从而将规律性出现的神经特征表示出来,这些神经特征可能与言语的重复性特征(比如元音、辅音或发音器官接收的指令)相关。

接着,研究人员通过另一个循环神经网络逐字解码这种算法表示,形成句子。研究人员发现,明显参与言语解码的脑区,同样参与言语生成和言语感知。通过这种机器翻译算法,研究人员在一名受试者身上进行试验,结果证明通过神经活动解码为口头句子的错误率低至 3%。

此外,如果利用某人的神经活动和言语对循环网络进行预训练后再在另一名受试者身上进行训练,最终的解码结果有所改善,这意味着这种方法在不同人员之间或许是可转移的。但是,还需要开展进一步的研究来更加完整地调查这个系统的功能,将解码范围扩展到研究所限语言之外。

脑机接口+AI 合成语音

直接通过解码大脑活动信号来合成文本或语音,不只是一项科幻般的“读心术”,更是一种颇有前景的治疗方案。

控制光标进行单词拼写,只是离散字母的连续串联,而解码语言则是一种高效的通信形式。与基于拼写的方法相比,直接语音或文本合成具有诸多优点,除了以自然语速传递无约束词汇的能力之外,直接语音合成还能捕获语音的韵律元素,例如音调、语调等。

此外,对于由肌萎缩性侧索硬化或脑干中风引起的瘫痪患者,通过直接记录来自大脑皮层的神经控制信号来合成语音,是实现自然语言高通信速率的唯一手段,也是最直观的方法。

去年 4 月,Edward Chang 等人还在 Nature 杂志发表了开发出一种可以将脑活动转化为语音的解码器。这套人类语音合成系统,通过解码与人类下颌、喉头、嘴唇和舌头动作相关的脑信号,并合成出受试者想要表达的语音。

image
Edward Chang 教授

为了重建语音,研究人员设计了一种循环神经网络(RNN),首先将记录的皮质神经信号转化为声道咬合关节运动,然后将这些解码的运动转化为口语句子。

整个过程分为两个步骤,第一步,将神经信号转换成声道咬合部位的运动(红色),这其中涉及语音产生的解剖结构(嘴唇、舌头、喉和下颌)。而为了实现神经信号到声道咬合部位运动的转化,就需要大量声道运动与其神经活动相关联的数据。但研究人员又难以直接测量每个人的声道运动,因此他们建立了一个循环神经网络,根据以前收集的大量声道运动和语音记录数据库来建立关联。第二步,将声道咬合部位的运动转换成合成语音。

研究人员的这种两步解码方法,产生的语音失真率明显小于使用直接解码方法所获得的语音。在包含 101 个句子的试验中,听者可以轻松地识别并记录下合成的语音。

在科幻世界里,通过意念信号控制外界设备十分酷炫,实际上,在现实世界中,其背后的脑机接口技术已有近百年的历史。

image

随着脑机接口领域科学研究与应用技术的不断突破,尤其是 AI 算法的加持,为许多当前仍无法解答的难题提供更好了的探索工具,不仅能够帮助人类进一步了解自己的大脑,更重要的是为诊断、治疗脑部及其它严重疾病提供了解决方案,甚至广泛应用于睡眠管理、智能生活和残疾人康复等领域。

参考资料:
https://nature.com/articles/s41593-020-0608-8
https://www.nature.com/articles/s41586-019-1119-1
https://mp.weixin.qq.com/s/ZjAW1CDUli1VXpWcNnF-sQ

【云栖号在线课堂】每天都有产品技术专家分享!
课程地址:https://yqh.aliyun.com/zhibo

立即加入社群,与专家面对面,及时了解课程最新动态!
【云栖号在线课堂 社群】https://c.tb.cn/F3.Z8gvnK

原文发布时间:2020-03-31
本文作者:学术君
本文来自:“学术头条”,了解相关信息可以关注“学术头条

相关文章
|
18天前
|
机器学习/深度学习 数据采集 人工智能
探索AI技术在文本生成中的应用与挑战
【9月更文挑战第26天】本文深入探讨了AI技术在文本生成领域的应用,并分析了其面临的挑战。通过介绍AI文本生成的基本原理、应用场景以及未来发展趋势,帮助读者全面了解该技术的潜力和局限性。同时,文章还提供了代码示例,展示了如何使用Python和相关库实现简单的文本生成模型。
51 9
|
1月前
|
机器学习/深度学习 人工智能 编解码
深入探索AI文生语音技术的奥秘:从文本输入到逼真语音输出的全链条语音合成过程解析
【9月更文挑战第2天】深入探索AI文生语音技术的奥秘:从文本输入到逼真语音输出的全链条语音合成过程解析
 深入探索AI文生语音技术的奥秘:从文本输入到逼真语音输出的全链条语音合成过程解析
|
1月前
|
机器学习/深度学习 人工智能 TensorFlow
神经网络深度剖析:Python带你潜入AI大脑,揭秘智能背后的秘密神经元
【9月更文挑战第12天】在当今科技飞速发展的时代,人工智能(AI)已深入我们的生活,从智能助手到自动驾驶,从医疗诊断到金融分析,其力量无处不在。这一切的核心是神经网络。本文将带领您搭乘Python的航船,深入AI的大脑,揭秘智能背后的秘密神经元。通过构建神经网络模型,我们可以模拟并学习复杂的数据模式。以下是一个使用Python和TensorFlow搭建的基本神经网络示例,用于解决简单的分类问题。
39 10
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
探索AI在文本生成中的应用与挑战
【9月更文挑战第11天】本文将深入探讨人工智能在文本生成领域的应用及其面临的挑战。我们将通过实际案例分析,了解当前技术如何影响内容创作,并讨论未来可能的发展方向。文章旨在为读者提供一个关于AI文本生成技术的全面视角,包括其优势、局限及潜在影响。
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
探索AI在文本情感分析中的应用
【8月更文挑战第40天】本文将深入探讨人工智能在文本情感分析领域的强大应用。我们将从基础概念出发,逐步深入到技术实现,最终通过一个Python代码示例具体展示如何使用自然语言处理库进行情感分析。文章旨在为读者提供一个清晰的指南,了解并实践如何利用AI技术解读和评估文本中的情感色彩。
|
1月前
|
人工智能 Linux iOS开发
AI超强语音转文本SenseVoice,本地化部署教程!
【9月更文挑战第7天】以下是AI超强语音转文本工具SenseVoice的本地化部署教程:首先确保服务器或计算机满足硬件和软件要求,包括处理器性能、内存及操作系统等。接着从官网下载适合的安装包,并按操作系统进行安装。配置音频输入设备和语言模型后,启动SenseVoice并测试其语音转文本功能。最后根据实际使用情况进行优化调整,并定期更新以获取最新功能。详细步骤需参照官方文档。
154 1
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
AI技术在文本生成中的应用与挑战
【8月更文挑战第31天】本文将探讨AI技术在文本生成领域的应用及其面临的挑战。我们将介绍一些常见的文本生成算法,并通过代码示例展示如何使用这些算法进行文本生成。最后,我们将讨论AI技术在文本生成领域所面临的挑战和未来发展方向。
|
2月前
|
机器学习/深度学习 人工智能 自然语言处理
探索AI在文本情感分析中的应用
【8月更文挑战第31天】 本文将深入探讨人工智能在文本情感分析领域的强大应用。我们将从基础概念出发,逐步深入到技术实现,最终通过一个Python代码示例具体展示如何使用自然语言处理库进行情感分析。文章旨在为读者提供一个清晰的指南,了解并实践如何利用AI技术解读和评估文本中的情感色彩。
|
2月前
|
人工智能 自然语言处理 算法
利用AI技术实现自动化文本
【8月更文挑战第31天】本文将介绍如何利用AI技术实现自动化文本摘要生成。我们将使用Python编程语言和自然语言处理库NLTK,通过一个简单的例子展示如何使用这些工具来提取文本的关键信息并生成摘要。通过学习本文,你将能够掌握基本的文本摘要生成方法,并了解如何将其应用于实际项目中。
|
2月前
|
人工智能 自然语言处理 监控
探索AI在文本情感分析中的应用
【8月更文挑战第31天】本文将探讨人工智能如何帮助我们更好地理解和处理文本中的情感。我们将通过一个简单的Python代码示例,展示如何使用自然语言处理库进行情感分析,并讨论其在现实世界中的可能应用。