语音顶会Interspeech 论文解读|Constrained output embeddings for end-to-end code-switching speech recognition with only monolingual data

简介: Interspeech是世界上规模最大,最全面的顶级语音领域会议,本文为 Nanyang Technological University等学校联合作者的入选论文

2019年,国际语音交流协会INTERSPEECH第20届年会将于9月15日至19日在奥地利格拉茨举行。Interspeech是世界上规模最大,最全面的顶级语音领域会议,近2000名一线业界和学界人士将会参与包括主题演讲,Tutorial,论文讲解和主会展览等活动,本次阿里论文有8篇入选,本文为 Nanyang Technological University等学校联合作者的入选论文《Constrained output embeddings for end-to-end code-switching speech recognition with only monolingual data》

点击下载论文

文章解读

Code-switching (CS) 是在一个对话中同时使用多于一种语言。它对许多语音和语言处理的应用程序构成非常严重的挑战。最近,端到端的CS语音识别(E2E-CS-ASR)取得了令人印象深刻的进展,获得了越来越多的关注,但这些改进主要是针对有足够多的CS语音和文本数据的条件下来实现的。 对于绝大多数语言来说,获得大量的CS数据仍然是一个重大的挑战。在这项工作中,我们的目标是仅仅应用两种单一语言语音数据,在没有任何的CS语音和文本数据的条件下来实现端到端的CS语音识别(E2E-CS-ASR),这种目标设置对于许多低资源的CS语音识别尤其重要。
由于缺乏CS训练数据,E2E-CS-ASR模型很难学习到跨语言之间转换关系,因此单语言的输出token embedding将彼此分离。图1 (a) 给出了观察到的这种现象。也就是不同语言的输出token embedding的分布是不同的,是彼此分开的,这就不利于E2E-CS-ASR模型在不同语言之间切换。

image.png

图 1. 中文和英文输出token embedding分布的PCA可视化

为了解决这个问题,我们提出对输出token embedding加以额外的约束,使其在不同语言上的分布相似。具体来说,我们使用Jensen-Shannon散度和余弦距离进行限制。公式(1)和公式(2)分别给出了Jensen-Shannon散度和余弦距离,公式(3)和公式(4)分别给出了结合Jensen-Shannon散度限制和余弦距离限制的优化目标损失函数。
L_JSD=tr(∑_1^(-1) ∑_2+∑_1 ∑_2^(-1) )+(μ_1-μ_2 )^T (∑_1^(-1)+∑_2^(-1) )(μ_1-μ_2 )-2z (1)
L_CD=1-(C_1∙C_2)/‖C_1 ‖‖C_2 ‖ (2)
L_MTL=λL_CTC+(1-λ)(αL_ATT+(1-α)L_JSD ) (3)
L_MTL=λL_CTC+(1-λ)(αL_ATT+(1-α)L_CD ) (4)

假设每种单一语言的输出token embedding的分布服从正态分布, 且L_1~Norm(μ_1,∑_1 ),L_2~Norm(μ_2,∑_2 )。公式(1)~公式(4)中,z是维数,c_1,c_2分别是语言L_1和语言L_2的输出token embedding的质心。L_ATT是基于attention decoder的损失函数,L_CTC是CTC decoder的损失函数,L_MTL是多任务学习的损失函数。
Jensen-Shannon散度限制将强迫每个单语言的输出token embedding拥有相似的分布,而余弦距离限制可以使两个分布的质心彼此接近。 此外,强加的约束将充当正规化项以防止模型训练的过度拟合。在中英CS的语料库 SEAME上的实验结果表明,提出的方法是有效的,有绝对4.5% CS语音识别混合错误率的下降。
通过结合不同限制,单一语言的输出token embedding的空间分布也有了明显的变化,如图1 (b)~(d) 所示。CD限制(即,余弦距离限制)和JSD限制(Jensen-Shannon散度限制)的结合使得单语输出token embedding分布更加相似。正是这种变化,使得基于两种单语训练的E2E-CS-ASR在CS测试集上有混合错误率的下降。

文章摘要

In spite of recent progress in code-switching speech recognition, the lack of code-switch data still remains a major challenge. Different from the previous works which highly rely on the availability of code-switch data, we aim to build an endto-end code-switching automatic speech recognition (E2E-CSASR) system using only monolingual data. While greatly mitigating the code-switch data scarcity problem, the E2E-CS-ASR will fail to learn language switch-points due to the absence of cross-lingual signal. Indeed, we investigate the E2E-CS-ASR model and found that the embedding feature representations of output tokens of code-switching languages are concentrated in disjoint clusters. We hypothesize that a gap between these clusters hinders the E2E-CS-ASR from switching between languages, leading to sub-optimal performance. To address this issue, we propose embedding feature matching approaches based on Jensen-Shannon divergence and cosine distance constraints.
The proposed constraints will act as a cross-lingual signal enforcing the disjoint clusters to be similar. The experiment results performed on Mandarin-English code-switching language pair from the SEAME corpus demonstrate high effectiveness of
the proposed method.
Index Terms: code-mixing, code-switching, feature matching,
speech recognition, end-to-end

阿里云开发者社区整理

相关实践学习
达摩院智能语音交互 - 声纹识别技术
声纹识别是基于每个发音人的发音器官构造不同,识别当前发音人的身份。按照任务具体分为两种: 声纹辨认:从说话人集合中判别出测试语音所属的说话人,为多选一的问题 声纹确认:判断测试语音是否由目标说话人所说,是二选一的问题(是或者不是) 按照应用具体分为两种: 文本相关:要求使用者重复指定的话语,通常包含与训练信息相同的文本(精度较高,适合当前应用模式) 文本无关:对使用者发音内容和语言没有要求,受信道环境影响比较大,精度不高 本课程主要介绍声纹识别的原型技术、系统架构及应用案例等。 讲师介绍: 郑斯奇,达摩院算法专家,毕业于美国哈佛大学,研究方向包括声纹识别、性别、年龄、语种识别等。致力于推动端侧声纹与个性化技术的研究和大规模应用。
相关文章
|
机器学习/深度学习 数据采集 数据处理
掌握时间序列特征工程:常用特征总结与 Feature-engine 的应用
本文介绍了时间序列特征工程,包括滚动统计量、滞后特征、差分和变换等技术,用于提升机器学习模型性能。文章还推荐了Python库`feature-engine`,用于简化特征提取,如处理缺失值、编码分类变量和进行时间序列转换。示例代码展示了如何使用`feature-engine`提取时间戳信息、创建滞后特征和窗口特征。通过创建管道,可以高效地完成整个特征工程流程,优化数据预处理并提高模型效果。
2962 15
|
Cloud Native Linux Docker
云原生之使用Docker部署ftp服务器
云原生之使用Docker部署ftp服务器
1267 0
|
机器学习/深度学习 自然语言处理 算法
文本分析-使用jieba库进行中文分词和去除停用词(附案例实战)
文本分析-使用jieba库进行中文分词和去除停用词(附案例实战)
11855 145
|
机器学习/深度学习 算法 数据可视化
智能扑克牌识别软件(Python+YOLOv5深度学习模型+清新界面)
智能扑克牌识别软件(Python+YOLOv5深度学习模型+清新界面)
2574 0
|
消息中间件 Java 数据库
Java 基于 DDD 分层架构实战从基础到精通最新实操全流程指南
本文详解基于Java的领域驱动设计(DDD)分层架构实战,结合Spring Boot 3.x、Spring Data JPA 3.x等最新技术栈,通过电商订单系统案例展示如何构建清晰、可维护的微服务架构。内容涵盖项目结构设计、各层实现细节及关键技术点,助力开发者掌握DDD在复杂业务系统中的应用。
2302 0
|
机器学习/深度学习 数据采集 自然语言处理
Python 常用的第三方库
Python 常用的第三方库
1316 0
|
数据采集 编解码 人工智能
Gemma 3n正式版开源:谷歌全新端侧多模态大模型,2GB 内存就能跑,重点提升编码和推理能力!
6月底,Google正式开源发布了全新端侧多模态大模型 Gemma 3n!相较此前的预览版,最新的 Gemma 3n 完整版进一步提升性能表现,支持在 2GB 内存的硬件上本地运行,重点提升了编码和推理方面的能力。
1591 1
|
存储 前端开发 安全
【面试题】: bs架构与cs架构的区别以及各自优缺点
bs架构与cs架构的区别以及各自优缺点
10231 0