语音顶会Interspeech 论文解读|Towards Language-Universal Mandarin-English Speech Recognition

简介: Interspeech是世界上规模最大,最全面的顶级语音领域会议,本文为Shiliang Zhang, Yuan Liu, Ming Lei, Bin Ma, Lei Xie的入选论文

2019年,国际语音交流协会INTERSPEECH第20届年会将于9月15日至19日在奥地利格拉茨举行。Interspeech是世界上规模最大,最全面的顶级语音领域会议,近2000名一线业界和学界人士将会参与包括主题演讲,Tutorial,论文讲解和主会展览等活动,本次阿里论文有8篇入选,本文为Shiliang Zhang, Yuan Liu, Ming Lei, Bin Ma, Lei Xie的论文《Towards Language-Universal Mandarin-English Speech Recognition》

点击下载论文

文章解读

目前的语音识别系统主要是针对特定语种的识别系统,例如中文语音识别,英文语音识别系统等。对于一个智能交互系统,通常需要部署不同语种的语音识别系统,这个极大增加了系统的存储开销。同时很多时候用户说某个语种是没有先验的,而且存在用户可能会在一句话中使用多个语种。这类问题称之为多语种语音识别和混读语音识别。其中具有代表性的是中英文混读情况。如何训练一个通用的中英文语音识别系统,可以不需要语种先验信息的前提下可以同时识别中文、英文、以及中英文混读是一个研究难点。

针对这个问题,本次INTERSPEECH论文,我们提出一种新颖的bilingual-AM (acoustic model)。具体的,我们利用大量单一语种的中文数据和英文数据先分别预训练得到一个中文声学模型和英文声学模型。 然后构建了如下图的bilingual-AM:

8-1.png

Bilingual-AM的输出层采用混合建模单元(中文—“字”,英文—“subword”)。声学模型结构采用深度前馈序列记忆神经网络(Deep Feedforward Sequential Memory Network, DFSMN), 优化准则采用CTC(Connectionist Temporal Classification)和 sMBR(state-level Minimum Bayes Risk)。进一步的我们通过将中文和英文n-gram语言模型进行插值得到一个混合的语言模型。

模型验证:我们先基于DFSMN-CTC-sMBR构建了基线的单一语种的语音识别系统,其性能如下图1所示。进一步的我们采用单一语种的中文和英文数据得到一个混合的数据,基于Bilingual-DFSMN-CTC-sMBR训练了中英文识别系统,性能如下图2所示。结果表明我们提出的中英文识别系统,在不需要语种先验信息的情况下,可以同时识别中文和英文,相比于特定语种的中文和英文识别系统,性能基本无损。

8-2.png
图 1. 特定语种的中文和英文识别系统性能。

8-3.png
图 2. 中英文混读识别系统在中文测试集和英文测试集上的性能。

进一步的我们在中英文混读测试集上对比了我们提出的方法和之前普遍采用的方法的性能。如下图3,我们提出的方法相比于基线系统具有明显的性能提升。

8-4.png
图 3. 对比不同的中英文混读系统在混读测试集上的性能。

文章摘要

Multilingual and code switching speech recognition are two challenging tasks that are studied separately in many previous works. In this work, we jointly study multilingual and codeswitching problems, and present a language-universal bilingual system for Mandarin-English speech recognition. Specifically, we propose a novel bilingual acoustic model, which consists of two monolingual system initialized subnets and a shared output layer corresponding to the Character-Subword acoustic modeling units. The bilingual acoustic model is trained using a large Mandarin-English corpus with CTC and sMBR criteria. We find that this model, which is not given any information about language identity, can achieve comparable performance in monolingual Mandarin and English test sets compared to the well-trained language-specific Mandarin and English ASR systems, respectively. More importantly, the proposed bilingual model can automatically learn the language switching. Experimental results on a Mandarin-English code-switching test set show that it can achieve 11.8% and 17.9% relative error reduction on Mandarin and English parts, respectively.
Index Terms: speech recognition, Mandarin-English, codeswitching, bilingual, DFSMN-CTC-sMBR

阿里云开发者社区整理

相关实践学习
达摩院智能语音交互 - 声纹识别技术
声纹识别是基于每个发音人的发音器官构造不同,识别当前发音人的身份。按照任务具体分为两种: 声纹辨认:从说话人集合中判别出测试语音所属的说话人,为多选一的问题 声纹确认:判断测试语音是否由目标说话人所说,是二选一的问题(是或者不是) 按照应用具体分为两种: 文本相关:要求使用者重复指定的话语,通常包含与训练信息相同的文本(精度较高,适合当前应用模式) 文本无关:对使用者发音内容和语言没有要求,受信道环境影响比较大,精度不高 本课程主要介绍声纹识别的原型技术、系统架构及应用案例等。 讲师介绍: 郑斯奇,达摩院算法专家,毕业于美国哈佛大学,研究方向包括声纹识别、性别、年龄、语种识别等。致力于推动端侧声纹与个性化技术的研究和大规模应用。
相关文章
|
API 网络架构 微服务
带你读《微服务架构设计模式》之三:微服务架构中的进程间通信
成功地开发基于微服务架构的应用软件,需要掌握一系列全新的架构思想和实践。在这本独特的书籍中,微服务架构的先驱、Java 开发者社区的意见领袖 Chris Richardson 收集、分类并解释了 44 个架构设计模式,这些模式用来解决诸如服务拆分、事务管理、查询和跨服务通信等难题。本书不仅仅是一个模式目录,还提供了经验驱动的建议,以帮助你设计、实现、测试和部署基于微服务的应用程序。
14209 0
|
人工智能 自然语言处理 小程序
|
机器学习/深度学习 Python
深度学习之卷积神经网络中常用模型评估指标(混淆矩阵,精确率,召回率,特异度计算方法)——python代码
深度学习之卷积神经网络中常用模型评估指标(混淆矩阵,精确率,召回率,特异度计算方法)——python代码
深度学习之卷积神经网络中常用模型评估指标(混淆矩阵,精确率,召回率,特异度计算方法)——python代码
|
SQL 安全 关系型数据库
渗透测试学习笔记
旨在起到工具书及闲暇翻阅功能
1771 0
|
存储 传感器 人工智能
物联网之IP Camera解决方案简介
IP Camera即网络摄像头,是物联网领域中的一个重要场景。本文将带领读者了解IP Camera这一典型物联网场景的市场、IP Camera的重要组成部分、以及以HaaS IP Camera为代表介绍IP Camera的解决方案的主要内容。
物联网之IP Camera解决方案简介
|
缓存 网络协议 网络架构
网络基础:Ping、Traceroute应用与排错
网络基础:Ping、Traceroute应用与排错
759 0
网络基础:Ping、Traceroute应用与排错
|
算法 计算机视觉 索引
试分析:编码器- 解码器网络结构的设计理念
试分析:编码器- 解码器网络结构的设计理念
1592 0
试分析:编码器- 解码器网络结构的设计理念
阿里云域名注册创建新信息模板审核多长时间?
在阿里云注册域名,域名所有者中没有信息模板,新创建的信息模板已经提交,有点着急,什么时候可以审核通过?大约需要20分钟左右
2035 0
阿里云域名注册创建新信息模板审核多长时间?
|
弹性计算 网络协议 安全
ECS搭建企业级的专用网络隧道
现在很多企业都有移动办公的需求,希望出差员工,如同在公司内部一样可以访问公司的相关资源,很多企业直接购买商业VPN产品或者通过购买防火墙内的SCVPN授权方式满足此需求,在本章节将用开源软件OpenVPN实现此功能。
4032 0
ECS搭建企业级的专用网络隧道