在2024年ICLR上，清华大学胡晓林团队的研究成果引起了广泛关注。他们提出了一种名为RTFS-Net（Recurrent Time-Frequency Separation Network）的新型音视频分离方法，这一方法在提升音视频分离质量的同时，大幅降低了模型的参数数量和计算复杂度，实现了在时间-频率域的音视频分离方法中的首次超越。
音视频分离技术，旨在从混合的音视频中分离出清晰的单一声音源，这对于语音识别、会议记录、噪声环境下的通信等应用场景至关重要。然而，这一技术面临着“鸡尾酒会问题”，即在多声源环境中准确识别并分离出目标说话者的声音。传统的音频分离方法（AOSS）在处理强背景噪声、混响或声音重叠时存在局限，而音视频分离（AVSS）通过结合视觉信息，提高了分离的准确性。
RTFS-Net的核心创新在于其独特的时间-频率域建模方法。该方法利用短时傅里叶变换（STFT）将音频信号转换为复数时频二进制，然后通过多层循环神经网络（RNN）独立地对时域和频域进行建模。这种方法不仅能够捕捉音频信号的细节，还能够有效地处理时域和频域的复杂关系。
RTFS-Net的另一个亮点是其基于注意力的融合技术。这一技术通过多头注意力策略，有效地整合了音频和视觉信息，使得模型能够更加精准地识别和分离目标说话者的声音。此外，RTFS-Net还引入了一种新的掩膜分离方法，该方法利用声学特征的内在谱特性，进一步提升了分离质量。
在实验评估中，研究团队使用了LRS2、LRS3和VoxCeleb2这三个广泛使用的数据库，全面测试了RTFS-Net的性能。结果显示，RTFS-Net在参数数量和乘累加（MACs）上均优于以往的最佳方法（SOTA），仅使用10%的参数和18%的MACs，就实现了超越。这一成果不仅在理论上具有重要意义，也为实际应用提供了新的可能。
研究团队还详细描述了RTFS-Net的实验设置，包括使用的数据集、评估指标以及训练和测试的详细过程。他们采用了SI-SNRi和SDRi作为评估指标，这些指标能够全面反映分离语音的质量。此外，研究团队还在NVIDIA 2080 GPU上测量了处理2秒音频所需的推理时间，进一步证明了RTFS-Net的高效性。
在结果部分，研究团队展示了RTFS-Net与现有AVSS方法的全面比较。他们探索了不同数量的RTFS Blocks的RTFS-Net变体，并在LRS2-2Mix数据集上展示了RTFS-Net-4、RTFS-Net-6和RTFS-Net-12的性能。RTFS-Net-12在所有数据集上都超越了其他技术，展示了其在复杂环境中的优越性和TF域方法的鲁棒性。尽管使用了12层，RTFS-Net-12仍然将CTCNet的计算成本降低了三倍，同时只使用了十分之一的参数。
研究团队在结论部分强调了RTFS-Net在AVSS领域的创新性和效率。他们指出，提高AVSS性能并不一定需要更大的模型，而是需要更创新和高效的架构，更好地捕捉音频和视觉模态之间的复杂相互作用。他们还承诺在论文被会议接受后，将在GitHub上以MIT许可证开源RTFS-Net的代码，以便研究者和开发者复现和进一步研究。
RTFS-Net的提出，不仅在技术上实现了突破，也为音视频分离领域带来了新的视角。它通过在时间-频率域的创新建模，以及对音频和视觉信息的高效融合，展示了在保持计算效率的同时，也能够实现高质量的音视频分离。这一成果不仅对学术界有着重要的意义，也为实际应用中的语音识别、语音增强等任务提供了新的解决方案。随着技术的不断进步，我们有理由相信，RTFS-Net及其后续的改进版本将在未来的音视频处理领域发挥更加重要的作用。
