语音顶会Interspeech 论文解读|Investigation of Transformer based Spelling Correction Model for CTC-based End-to-End Mandarin Speech Recognition

简介: Interspeech是世界上规模最大,最全面的顶级语音领域会议,本文为Shiliang Zhang, Ming Lei, Zhijie Yan的入选论文

2019年,国际语音交流协会INTERSPEECH第20届年会将于9月15日至19日在奥地利格拉茨举行。Interspeech是世界上规模最大,最全面的顶级语音领域会议,近2000名一线业界和学界人士将会参与包括主题演讲,Tutorial,论文讲解和主会展览等活动,本次阿里论文有8篇入选,本文为Shiliang Zhang, Ming Lei, Zhijie Yan的论文《Investigation of Transformer based Spelling Correction Model for CTC-based End-to-End Mandarin Speech Recognition》

点击下载论文

文章解读

基于CTC(Connectionist Temporal Classification)的端到端语音识别系统,通常需要联合语言模型进行解码。对于中文,由于存在大量的同音字,所以联合语言模型进行解码显的更为重要。因为很多同音字的替换错误只靠声学模型是没法区分的,需要通过语言模型引入语义信息进行辅助区分。但是目前CTC声学模型通过联合N-gram语言模型进行解码。从而导致很多同音替换错误依旧没法解码。针对这个问题我们提出了一个基于Transformer的后处理纠错模型,可以有效的纠正大量识别的替换错误。在一个2万小时中文数据库上的实验表明,通过引入纠错模型,我们可以获得3.41%的字错误率,相比于基线的CTC系统可以获得相对22.9%的性能提升。

5-1.png

如图1,我们提出的方法包含3个模块:listener,decoder,speller。其中Listener是一个基于CTC训练准则优化的声学模型,实现从声学特征到建模单元序列(中文音节,字符等)的映射。Decoder是一个解码器,我们探索了不同的解码方法:Greedy Search(不采用语言模型);WFST search(采用语言模型)。特别的我们提出新颖的N-best数据扩展方法,得到识别结果的候选列表,用于训练候选的Speller。Speller是基于Transformer的翻译纠错模型,输入是带错的识别结果,预测目标是正确的标注。

5-2.png

图 1. 基线识别系统和添加了Speller的识别系统在不同测试集上的性能对比

如图1,我们对比了基线识别系统和添加了Speller的识别系统在13个测试集上的性能。通过添加speller可以获得明显的性能提升。如图2,则是一些识别例子的分析,我们可以发现,通过纠错模型可以有效纠正一些同音字的替换错误。

5-3.png

文章摘要

**Connectionist Temporal Classification (CTC) based end-to-end speech recognition system usually need to incorporate an external language model by using WFST-based decoding in order to achieve promising results. This is more essential to Mandarin speech recognition since it owns a special phenomenon, namely homophone, which causes a lot of substitution errors. The linguistic information introduced by language model is somehow helpful to distinguish these substitution errors. In this work, we propose a transformer based spelling correction model to automatically correct errors, especially the substitution errors, made by CTC-based Mandarin speech recognition system. Specifically, we investigate to use the recognition results generated by CTC-based systems as input and the ground-truth transcriptions as output to train a transformer with encoder-decoder architecture, which is much similar to machine translation. Experimental results in a 20,000 hours Mandarin speech recognition task show that the proposed spelling correction model can achieve a CER of 3.41%, which results in 22.9% and 53.2% relative improvement compared to the baseline CTC-based systems decoded with and without language model, respectively.
Index Terms: speech recognition, spelling correction, CTC,
End-to-End, Transformer

阿里云开发者社区整理

相关文章
|
12月前
|
数据采集 人工智能 JavaScript
双解析引擎VS单一架构:DataEyes如何用视觉革命重塑AI数据基建
Jina与DataEyes代表AI数据工具两大技术路径。本文从架构、场景、赋能三维度对比,揭示DataEyes如何通过“视觉+代码”双模解析,提升动态数据捕获效率,实现电商、金融、农业等多行业落地,推动企业级数据获取迈向自动化与智能化。
1022 154
|
8月前
|
人工智能 自然语言处理 算法
知识库是AI智能客服的核心根基
知识库是AI客服的“大脑”,决定问答准确率与服务价值。涵盖标准化梳理、NLP意图识别、相似问法智能匹配及人工闭环优化,支持模糊提问、多轮对话与动态进化。知识库越扎实,AI服务越精准高效。
|
4月前
|
机器学习/深度学习 人工智能 自然语言处理
GEO 核心技术名词全解
本文系统梳理生成式引擎优化(GEO)核心技术,按五大主线归类10类共50个关键术语:检索与生成架构、引用归因机制、实体知识表示、内容可信信号、模型训练治理。每项含定义、原理、GEO意义与实操要点,助从业者构建完整方法论框架。
371 1
|
5月前
|
人工智能 运维 机器人
RAG、Agentic RAG 和 AI Memory 到底有什么区别?
它们合在一起,回答的是同一个问题:AI 怎么从“回答当前问题”,变成“参与长期工作”。RAG 让它会查资料;Agentic RAG 让它更会查资料;Memory 让它能带着过去的上下文继续工作。当这三者组合起来,AI 才更像一个长期协作的助手,而不只是一个每次都要重新介绍背景的聊天窗口。
499 0
RAG、Agentic RAG 和 AI Memory 到底有什么区别?
|
关系型数据库 Apache 微服务
《聊聊分布式》分布式系统基石:深入理解CAP理论及其工程实践
CAP理论指出分布式系统中一致性、可用性、分区容错性三者不可兼得,必须根据业务需求进行权衡。实际应用中,不同场景选择不同策略:金融系统重一致(CP),社交应用重可用(AP),内网系统可选CA。现代架构更趋向动态调整与混合策略,灵活应对复杂需求。
|
5月前
|
存储 数据采集 JSON
1688 店铺全商品接口技术全解:从页面解析到分页采集的完整实现方案
本文系统阐述1688店铺全商品接口的技术实现方案,涵盖店铺ID解析、多页采集、品类筛选等核心难点,提供合规高效、严格遵循平台规则的B2B数据采集架构,适用于供应链分析与竞品调研。(239字)
|
7月前
|
存储 数据采集 运维
企业级智能体落地那些难言之隐
2026年,企业级智能体成数字化转型热点,但安全痛点成规模化落地最大瓶颈:数据泄露、合规难适配、技术漏洞、权限失控四大隐患频发。厂商重技术轻安全、企业选型忽视安全评估,导致风险难言、损失难估。安全先行,方为破局关键。
490 0
|
10月前
|
人工智能 自然语言处理 安全
智能客服系统对企业的应用价值(2026年1月最新)
瓴羊Quick Service是阿里云推出的智能客服新标杆,基于大模型实现高精度语义理解与情绪感知,支持全渠道接入、多模态交互及人机协同。2026年已助力企业客服响应提速至22秒,CSAT提升18.6%,人力成本降40%,并打通服务与业务闭环。(239字)
|
算法 API 数据安全/隐私保护
拼多多 item_search_best 接口深度分析及 Python 实现
拼多多开放平台 item_search_best 接口是用于精准商品搜索的核心接口,按商品销量、价格、评分及商家资质等多维度排序,适用于爆款挖掘、竞品分析与市场监控。本文详解其接口特性、参数配置、签名生成逻辑、返回结构及 Python 实现方案。