为了让机器听懂“长篇大论”,阿里工程师构建了新模型

简介: 本研究我们提出了一种改进的前馈序列记忆神经网络结构,称之为深层前馈序列记忆神经网络(DFSMN)。

点击上方↑↑蓝字关注,建立智能知识仓库

小叽导读:本研究我们提出了一种改进的前馈序列记忆神经网络结构,称之为深层前馈序列记忆神经网络(DFSMN)。进一步地我们将深层前馈序列记忆神经网络和低帧率(LFR)技术相结合构建了LFR-DFSMN语音识别声学模型。该模型在大词汇量的英文识别和中文识别任务上都可以取得相比于目前最流行的基于长短时记忆单元的双向循环神经网络(BLSTM)的识别系统显著的性能提升。而且LFR-DFSMN在训练速度,模型参数量,解码速度,而且模型的延时上相比于BLSTM都具有明显的优势。

作者: 张仕良、雷鸣、鄢志杰、戴礼荣

收录于:ICASSP-2018


研究背景

近年来, 深度神经网络成为了大词汇量连续语音识别系统中的主流声学模型。由于语音信号具有很强的长时相关性,因而目前普遍流行的是使用具有长时相关建模的能力的循环神经网络(RNN),例如LSTM以及其变形结构。循环神经网络虽然具有很强的建模能力,但是其训练通常采用BPTT算法,存在训练速度缓慢和梯度消失问题。我们之前的工作,提出了一种新颖的非递归的网络结构,称之为前馈序列记忆神经网络(feedforward sequential memory networks, FSMN),可以有效地对信号中的长时相关性进行建模。相比于循环神经网络,FSMN训练更加高效,而且可以获得更好的性能。

本论文,我们在之前FSMN的相关工作的基础上进一步提出了一种改进的FSMN结构,称之为深层的前馈序列记忆神经网络(Deep-FSMN, DFSMN)。我们通过在FSMN相邻的记忆模块之间添加跳转连接(skip connections),保证网络高层梯度可以很好地传递给低层,从而使得训练很深的网络不会面临梯度消失的问题。进一步的,考虑到将DFSMN应用于实际的语音识别建模任务不仅需要考虑模型的性能,而且需要考虑到模型的计算量以及实时性。针对这个问题,我们提出将DFSMN和低帧率(lower frame rate,LFR)相结合用于加速模型的训练和测试。同时我们设计了DFSMN的结构,通过调整DFSMN的记忆模块的阶数实现时延的控制,使得基于LFR-DFSMN的声学模型可以被应用到实时的语音识别系统中。

我们在多个大词汇量连续语音识别任务包括英文和中文上验证了DFSMN的性能。在目前流行的2千小时英文FSH任务上,我们的DFSMN相比于目前主流的BLSTM可以获得绝对1.5%而且模型参数量更少。在2万小时的中文数据库上,LFR-DFSMN相比于LFR-LCBLSTM可以获得超过20%的相对性能提升。而且LFR-DFSMN可以灵活的控制时延,我们发现将时延控制到5帧语音依旧可以获得相比于40帧时延的LFR-LCBLSTM更好的性能。

FSMN回顾

最早提出的FSMN的模型结构如图1(a)所示,其本质上是一个前馈全连接神经网络,通过在隐层旁添加一些记忆模块(memory block)来对周边的上下文信息进行建模,从而使得模型可以对时序信号的长时相关性进行建模。FSMN的提出是受到数字信号处理中滤波器设计理论的启发:任何无限响应冲击(Infinite Impulse Response, IIR)滤波器可以采用高阶的有限冲击响应(FiniteImpulse Response, FIR)滤波器进行近似。从滤波器的角度出发,如图1(c)所示的RNN模型的循环层就可以看作如图1(d)的一阶IIR滤波器。而FSMN采用的采用如图1(b)所示的记忆模块可以看作是一个高阶的FIR滤波器。从而FSMN也可以像RNN一样有效的对信号的长时相关性进行建模,同时由于FIR滤波器相比于IIR滤波器更加稳定,因而FSMN相比于RNN训练上会更加简单和稳定。

image.png

图 1. FSMN模 型结构以及和RNN的对比

根据记忆模块编码系数的选择,可以分为:1)标量FSMN(sFSMN);2)矢量FSMN(vFSMN)。sFSMN 和 vFSMN 顾名思义就是分别使用标量和矢量作为记忆模块的编码系数。sFSMN和vFSMN记忆模块的表达分别如下公式:

image.png

以上的FSMN只考虑了历史信息对当前时刻的影响,我们可以称之为单向的FSMN。当我们同时考虑历史信息以及未来信息对当前时刻的影响时,我们可以将单向的FSMN进行扩展得到双向的FSMN。双向的sFSMN和vFSMN记忆模块的编码公式如下:

image.png

这里和分别代表回看(look-back)的阶数和向前看(look-ahead)的阶数。我们可以通过增大阶数,也可以通过在多个隐层添加记忆模块来增强FSMN对长时相关性的建模能力。

image.png

图 2. cFSMN结构框图

FSMN相比于FNN,需要将记忆模块的输出作为下一个隐层的额外输入,这样就会引入额外的模型参数。隐层包含的节点越多,则引入的参数越多。我们通过结合矩阵低秩分解(Low-rank matrix factorization)的思路,提出了一种改进的FSMN结构,称之为简洁的FSMN(Compact FSMN,cFSMN)。如图2是一个第个隐层包含记忆模块的cFSMN的结构框图。

对于cFSMN,通过在网络的隐层后添加一个低维度的线性投影层,并且将记忆模块添加在这些线性投影层上。进一步的,cFSMN对记忆模块的编码公式进行了一些改变,通过将当前时刻的输出显式的添加到记忆模块的表达中,从而只需要将记忆模块的表达作为下一层的输入。这样可以有效的减少模型的参数量,加快网络的训练。具体的,单向和双向的cFSMN记忆模块的公式表达分别如下:

image.png

DFSMN介绍

image.png

图 3. Deep-FSMN (DFSMN)模型结构框图

如图3是我们进一步提出的Deep-FSMN(DFSMN)的网络结构框图,其中左边第一个方框代表输入层,右边最后一个方框代表输出层。我们通过在cFSMN的记忆模块(红色框框表示)之间添加跳转连接(skip connection),从而使得低层记忆模块的输出会被直接累加到高层记忆模块里。这样在训练过程中,高层记忆模块的梯度会直接赋值给低层的记忆模块,从而可以克服由于网络的深度造成的梯度消失问题,使得可以稳定的训练深层的网络。我们对记忆模块的表达也进行了一些修改,通过借鉴扩张(dilation)卷积[3]的思路,在记忆模块中引入一些步幅(stride)因子,具体的计算公式如下:

image.png

其中表示第层记忆模块第t个时刻的输出。和分别表示历史和未来时刻的编码步幅因子,例如则表示对历史信息进行编码时每隔一个时刻取一个值作为输入。这样在相同的阶数的情况下可以看到更远的历史,从而可以更加有效的对长时相关性进行建模。对于实时的语音识别系统我们可以通过灵活的设置未来阶数来控制模型的时延,在极端情况下,当我们将每个记忆模块的未来阶数都设置为0,则我们可以实现无时延的一个声学模型。对于一些任务,我们可以忍受一定的时延,我们可以设置小一些的未来阶数。

LFR-DFSMN声学模型

目前的声学模型,输入的是每帧语音信号提取的声学特征,每帧语音的时长通常为10ms,对于每个输入的语音帧信号会有相对应的一个输出目标。最近有研究提出一种低帧率(Low Frame Rate,LFR)建模方案:通过将相邻时刻的语音帧进行绑定作为输入,去预测这些语音帧的目标输出得到的一个平均输出目标。具体实验中可以实现三帧(或更多帧)拼接而不损失模型的性能。从而可以将输入和输出减少到原来的三分之一甚至更多,可以极大地提升语音识别系统服务时声学得分的计算以及解码的效率。我们结合LFR和以上提出的DFSMN,构建了如图4的基于LFR-DFSMN的语音识别声学模型,经过多组实验我们最终确定了采用一个包含10层DFSMN层+2层DNN的DFSMN作为声学模型,输入输出则采用LFR,将帧率降低到原来的三分之

一。

image.png

图4. LFR-DFSMN声学模型结构框图

实验结果

1)英文识别

我们在2千小时的英文FSH任务上验证所提出的DFSMN模型。我们首先验证了DFSMN的网络深度对性能的影响,我们分别验证了DFSMN包含6,8,10,12个DFSMN层的情况。最终模型的识别性能如下表。通过增加网络的深度我们可以获得一个明显的性能提升。

image.png

我们也和一些主流的声学模型进行了对比,结果如下表。从结果看DFSMN相比于目前最流行的BLSTM不仅参数量更少,而且性能上可以获得1.5%的绝对性能提升。

image.png

2)中文识别

关于中文识别任务,我们首先在5000小时任务上进行实验。我们分别验证了采用绑定的音素状态(CD-State)和绑定的音素(CD-Phone)作为输出层建模单元。关于声学模型我们对比了时延可控的BLSTM(LCBLSTM),cFSMN以及DFSMN。对于LFR模型,我们采用CD-Phone作为建模单元。详细的实验结果如下表:

image.png

对于基线LCBSLTM,采用LFR相比于传统的单帧预测在性能上相近,优点在效率可以提升3倍。而采用LFR的cFSMN,相比于传统的单帧预测不仅在效率上可以获得相应提升,而且可以获得更好的性能。这主要是LFR一定程度上破坏了输入信号的时序性,而BLSTM的记忆机制对时序性更加的敏感。进一步的我们探索了网络深度对性能的影响,对于之前的cFSMN网络,当把网络深度加深到10层,会出现一定的性能下降。而对于我们最新提出来的DFSMN,10层的网络相比于8层依旧可以获得性能提升。最终相比于基线的LFR-LCBLSTM模型,我们可以获得超过20%的相对性能提升。

下表我们对比了LFR-DFSMN和LFR-LCBLSTM的训练时间,以及解码的实时因子(RTF)。从结果上看我们可以将训练速度提升3倍,同时可以将实时因子降低到原来的接近三分之一。

image.png

对于语音识别系统,另外一个需要考虑的因素是模型的延迟问题。原始的BLSTM需要等接收整句话后才能得到输出用于解码。LCBLSTM是目前的一种改进结构,可以将解码的时延进行控制,目前采用的LFR-LCBLSTM的时延帧数是40帧。对于DFSMN,时延的帧数可以功过设计记忆模块的滤波器阶数进行灵活控制。最终当只有5帧延时时,LFR-DFSMN相比于LFR-LCBLSTM依然可以获得更好的性能。

image.png

论文原文:https://arxiv.org/abs/1803.05030

相关实践学习
达摩院智能语音交互 - 声纹识别技术
声纹识别是基于每个发音人的发音器官构造不同,识别当前发音人的身份。按照任务具体分为两种: 声纹辨认:从说话人集合中判别出测试语音所属的说话人,为多选一的问题 声纹确认:判断测试语音是否由目标说话人所说,是二选一的问题(是或者不是) 按照应用具体分为两种: 文本相关:要求使用者重复指定的话语,通常包含与训练信息相同的文本(精度较高,适合当前应用模式) 文本无关:对使用者发音内容和语言没有要求,受信道环境影响比较大,精度不高 本课程主要介绍声纹识别的原型技术、系统架构及应用案例等。 讲师介绍: 郑斯奇,达摩院算法专家,毕业于美国哈佛大学,研究方向包括声纹识别、性别、年龄、语种识别等。致力于推动端侧声纹与个性化技术的研究和大规模应用。
目录
相关文章
|
决策智能
机器博弈 (一) 入门简介
机器博弈 (一) 入门简介
327 0
项目实战典型案例10——对生产环境以及生产数据的敬畏之心
项目实战典型案例10——对生产环境以及生产数据的敬畏之心
96 0
|
人工智能
用ChatGPT「指挥」数百个模型,HuggingGPT让专业模型干专业事(2)
用ChatGPT「指挥」数百个模型,HuggingGPT让专业模型干专业事
125 0
|
机器学习/深度学习 人工智能 自然语言处理
用ChatGPT「指挥」数百个模型,HuggingGPT让专业模型干专业事(1)
用ChatGPT「指挥」数百个模型,HuggingGPT让专业模型干专业事
130 0
|
人工智能 安全 API
ChatGPT等不会很快接管人类工作,易出错,AI也不会免费打工
ChatGPT等不会很快接管人类工作,易出错,AI也不会免费打工
111 0
|
机器学习/深度学习 SQL 人工智能
机器阅读理解研究现状|学习笔记
快速学习机器阅读理解研究现状
236 0
机器阅读理解研究现状|学习笔记
|
机器学习/深度学习 5G TensorFlow
本地没有环境跑深度学习模型? 阿里云天池实验室它不香吗
前几天做深度学习模型训练使用 Google 的 colab 总是掉,搞得很烦。然后那天我队友 “叶伏天” 和我说有一个类似于 Google colab 的平台,可以训练,虽然也有 8 小时的限时,但是这两个我可以替换使用,甚至一起跑实验,显卡配置也可以满足我的需求训练模型的需求
3083 0
本地没有环境跑深度学习模型? 阿里云天池实验室它不香吗
|
监控 架构师 Java
阿里P8架构师都是怎么分析软件模型的?
面对一个新项目,如何理解它的模型呢? 要先知道项目提供了哪些模型,模型又提供了怎样的能力。若只知道这些,你只是在了解别人设计的结果,这不足以支撑你后期对模型的维护。 在一个项目中,常常会出现新人随意向模型中添加内容,修改实现,让模型变得难以维护。原因在于对模型的理解不够。 模型都是为解决问题,理解一个模型,需要了解在没有这个模型之前,问题是如何被解决的? 这样,你才能知道新的模型究竟提供了怎样的提升,这是理解一个模型的关键。
215 0
阿里P8架构师都是怎么分析软件模型的?
|
达摩院 算法 大数据
机器之心对话「科学家保姆」施尧耘:带领阿里迈出量子芯片研发第一步
又一家企业紧跟 IBM、谷歌的步伐,踏入了量子硬件全球巨头竞技场。「这次我们是正式研发量子芯片,硬件实验室在阿里杭州总部!」自称「科学家保姆」的阿里达摩院量子实验室(AQL)主任施尧耘一边描绘着自己对阿里量子计划的憧憬,一边与机器之心讲述加盟阿里这一年里在阿里内部「创业」的成绩与挑战。
404 0
机器之心对话「科学家保姆」施尧耘:带领阿里迈出量子芯片研发第一步
|
人工智能 供应链 算法
机器人在线“偷懒”怎么办?阿里研究出了这两套算法
随着互联网和电子商务的发展以及全球化的不断加速,中国产业持续升级,人工智能与机器人集群逐步被应用于制造业与物流供应链产业中。机器人集群的主要目的是与人协同合作,将人从沉重的重体力搬运任务中解放出来,专注于更精细的操作当中。由于在工业界的广泛应用与进一步智能化生产的思考,机器人集群调度成为了多智能体系统(Multi-agent System)学术研究中的一个新兴研究方向,其核心问题是如何调度机器人执行合适的任务并规划高效的路径,使得系统整体效率最优。 文末福利:七道典型算法笔试模拟题精解。
1303 0
机器人在线“偷懒”怎么办?阿里研究出了这两套算法