雪雅、曜辰｜作者

众所周知，高采样率且高带宽的音频信号富含丰富的频率成分，能够带给人们更身临其境的听觉体验。但在线会议中，电话入会又或是因设备等原因导致原始采集带宽过低的场景中，带给人们的直观感受表现为听对方说话比较闷，严重影响会议体验。在信号处理中，语音超分技术可以用来处理这类情况，它可以最大限度地从低带宽的音频信号中重建出其高频成分，让语音信号听起来更“明亮、逼真”，从而为客户提供更出色更高音质的通话体验。

下面是一个简单的效果演示：

作者注：视频中前半部分是窄带信号，后半部分是超分后的宽带信号。

语音超分技术的早期研究多围绕传统信号处理理论展开，如源滤波器模型，通过 codebook 映射或者线性映射的方法来预测高频带频谱包络 [1, 2]。近些年随着深度学习技术在信号处理领域的应用，语音超分技术在深度学习的加持下，效果获得了明显的提升。

最开始，延续了传统信号处理框架，神经网络替换原有框架的一部分，用来预测高频带的谱包络或者幅度谱 [3, 4]，相位扩展沿用传统的方法，保持计算复杂度低的优势 [1]，然而相位信息对于人耳主观听感有着不可忽略的影响。

随后，受图像超分辨率算法的启发，基于端到端的神经网络模型应用到了语音超分任务 [5, 6]，它直接在时域上对信号完成了预测，避免了相位问题，这些方法都是通过最小化某个损失函数（如 L2 loss) 来训练的，后来，引入了 GAN 的训练方式，结合原有的损失函数和对抗损失，达到了更好的效果 [7, 8]。

当前，我们主要针对采样率从 8KHz 提高到 16KHz 的情况（频谱带宽从 4KHz 扩展到 8KHz）。

语音超分算法：AliSSR

基于神经网络的语音超分算法近几年来取得了不错的超分效果，但其中很多算法都是双非算法（非实时非因果），同时往往涉及较大的参数量和计算量，难以在实际应用场景中部署。阿里云视频云音频技术团队基于上述实际问题，研发了两种实时因果的语音超分算法：AliSSR（e2e 版本）和 AliSSR（lightweight 版本），在拥有较少参数量和较低延时的同时，保持其高质量的语音超分效果。

1. 算法原理简介

A. AliSSR（e2e 版本）：是基于端到端的 encoder-decoder 模型。该模型结合实际应用场景，充分考虑了编解码、下采样所带来的损失，并结合 GAN 相关的训练技巧，提升带宽拓展的效果；

B. AliSSR（lightweight 版本）：传统信号处理与深度学习结合的算法模型。该模型简单易拓展，资源消耗较小。

音频技术团队研发的基于神经网络的语音超分算法无需额外数据传输, 可以实时流式地对窄带语音信号进行高质量地带宽拓展。

2. 算法性能

作者注：RTF 是基于 mac 电脑（2.6 GHz 六核 Intel Core i7）统计。

3. 应用场景

在某些低带宽的场景中 , 例如在 PSTN 场景中，往往感觉对方声音很 “闷”，这主要是由于发送端传输的语音信号采样率低，没有高频成分的语音信息。语音超分技术通过重建语音的高频成分，为客户提供更高音质、更出色的通话听觉体验。语音超分常用的使用场景如下表所示。

4. 超分效果显示

AliSSR 实时超分算法支持多语种、多性别。下面分别对男生英文和女生中文测试语料的超分前后效果进行展示，主观听感层面，超分之后的语音明显比窄带音频要更 “明亮”，其中 AliSSR（e2e 版本）超分后明亮度要比 AliSSR（lightweight 版本）更好。

样本1：英文

视频中的三段音频分别是：窄带语音、AliSSR 实时处理后的 e2e 版本和 lightweight 版本

样本2：中文

视频中的三段音频分别是：窄带语音、AliSSR 实时处理后的 e2e 版本和 lightweight 版本

语音超分技术在 PSTN、在线会议、老旧音频修复以及媒体生产等领域，有着较为广泛的落地场景。AliSSR 语音超分算法在神经网络的助力下，仅需极少的资源消耗，即可实时地给用户带来更“明亮、逼真”的音质体验。未来，音频技术将会继续铸造更强的超分能力，探索从窄带到全频带、从语音到音乐再到全类音频的全场景覆盖的超分技术。

阿里云视频云音频技术团队将继续探索基于深度学习 + 信号处理的的音频技术，为在线会议等场景提供更清晰更极致的音频体验。

参考文献

[1] J.Makhoul, M.Berouti, “High-frequency regen-eration in speech coding systems”, in Proceedings of ICASSP, 1979, vol. 4, pp. 428–431.
[2] B. Iser, G. Schmidt, “Neural networks versus codebooks inan application for bandwidth extension of speech signals,”  in Proc. of Interspeech, 2003
[3] Kehuang Li, Chin-Hui Lee, “A deep neural networkapproach to speech bandwidth expansion”,  in Proceedings of ICASSP, 2015, pp. 4395–4399.
[4] J. Abel, T. Fingscheidt, “Artificial  speech  band-width extension using deep neural networks for wide-band spectral envelope estimation”, IEEE Transactionson Acoustics, Speech, and Signal Processing,  vol. 26,no. 1, pp. 71–83, 2017
[5] V. Kuleshov, S.Z. Enam, and S. Ermon,  “Audio super resolution  using  neural  nets”, in Workshop of ICLR, 2017.
[6] Heming Wang, Deliang Wang, "Time-frequency loss for CNN based speech super-resolution", in Proceedings of ICASSP, 2020.
[7] Eskimez, Sefik Emre et al. “Adversarial Training for Speech Super-Resolution.” IEEE Journal of Selected Topics in Signal Processing 13 (2019): 347-358.
[8] Li, Y., Tagliasacchi, M., Rybakov, "Real-Time Speech Frequency Bandwidth Extension", ICASSP, 2021.

「视频云技术」你最值得关注的音视频技术公众号，每周推送来自阿里云一线的实践技术文章，在这里与音视频领域一流工程师交流切磋。公众号后台回复【技术】可加入阿里云视频云产品技术交流群，和业内大咖一起探讨音视频技术，获取更多行业最新信息。