大规模、动态语音增强/分离新基准！清华发布移动音源仿真平台SonicSim，含950+小时训练数据

在语音处理领域，尤其是语音增强和分离技术的研究中，面对移动音源的复杂场景，如何获取充足且真实的数据一直是个难题。清华大学的研究团队近日发布了一款名为SonicSim的移动音源仿真平台，旨在解决这一问题，为语音处理技术的发展提供了新的基准。

在语音增强和分离模型的系统性评估中，通常需要大量包含各种场景的数据。然而，现实世界的数据集往往无法满足模型训练和评估的需求，因为它们在数量和多样性上都存在不足。虽然合成数据集可以提供更多的数据，但其声学仿真往往缺乏真实性，难以准确反映现实世界的情况。因此，无论是真实世界的数据集还是合成数据集，都无法完全满足实际应用的需求。

为了解决上述问题，清华大学的研究团队开发了SonicSim，这是一款基于Habitat-sim的合成工具包，专门用于生成高度可定制的移动音源数据。SonicSim支持多层次的调整，包括场景级别、麦克风级别和音源级别，从而能够生成更加多样化的合成数据。

利用SonicSim，研究团队构建了一个名为SonicSet的移动音源基准数据集。该数据集包含了来自Librispeech、Freesound Dataset 50k（FSD50K）和Free Music Archive（FMA）的语音和音频数据，以及来自Matterport3D的90个场景。通过这些数据，SonicSet能够全面评估语音增强和分离模型的性能。

为了验证合成数据与真实世界数据之间的差异，研究团队从SonicSet的验证集中随机选择了5小时的无混响原始数据，用于记录一个真实世界的语音分离数据集。然后，他们将这个真实世界的数据集与相应的合成数据集进行了比较。此外，他们还利用真实世界的语音增强数据集RealMAN，验证了其他合成数据集与SonicSet在语音增强方面的声学差异。结果表明，SonicSim生成的合成数据能够有效地泛化到真实世界的场景中。

SonicSim的发布无疑为语音增强和分离技术的研究提供了新的动力。它不仅解决了数据获取的难题，还通过高度可定制的合成数据，为模型的训练和评估提供了更加全面和真实的环境。然而，我们也需要认识到，合成数据与真实世界数据之间仍然存在一定的差距。尽管SonicSim在泛化能力上表现出色，但在某些特定场景下，真实世界的数据可能仍然具有不可替代的优势。

此外，SonicSim的多层次调整功能虽然强大，但也对使用者提出了更高的要求。如何根据具体需求合理地调整参数，以生成最合适的合成数据，将是使用者需要面对的挑战。

论文地址：https://arxiv.org/abs/2410.01481