在人工智能（AI）领域，全模态理解一直是一个备受关注的研究方向。最近，一篇论文在ICML 2024上引起了广泛关注，该论文由清华大学领衔发布，提出了一种名为SALMONN（Speech Audio Language Music Open Neural Network）的新型模型，旨在实现对短视频的全模态理解。
SALMONN是一种多模态模型，它通过整合预训练的文本大型语言模型（LLM）、语音和音频编码器，构建了一个能够直接处理和理解一般音频输入的统一模型。这种创新的设计使得SALMONN在多个语音和音频任务上表现出色，包括自动语音识别和翻译、基于听觉信息的问答、情绪识别、说话人验证以及音乐和音频字幕等。
除了在训练任务上的出色表现，SALMONN还展示了一些在训练过程中未出现过的新兴能力。例如，它可以将语音翻译成未经训练的语言，进行基于语音的槽填充，执行基于口头查询的问答，以及基于音频的故事讲述和语音音频联合推理等。这些新兴能力的出现，进一步证明了SALMONN在全模态理解方面的潜力。
为了探索这些新兴能力，研究人员提出了一种新颖的少样本激活微调方法。这种方法可以激活模型中的跨模态新兴能力，从而进一步扩展了SALMONN的应用范围。
SALMONN的出现被认为是AI领域迈向具有通用听觉能力的一步。作为首个此类模型，它为研究人员提供了一个强大的工具，可以用于探索和开发更先进的全模态理解系统。
然而，尽管SALMONN在全模态理解方面取得了显著的进展，但它仍然面临一些挑战。首先，模型的复杂性可能导致训练和推理过程中的计算成本较高。其次，模型的泛化能力仍然有待提高，特别是在处理未见过的模态组合时。
为了解决这些挑战，未来的研究可以集中在以下几个方面。首先，研究人员可以探索更高效的模型架构和训练方法，以降低计算成本并提高模型的泛化能力。其次，他们可以研究如何更好地整合不同模态的信息，以实现更准确和全面的全模态理解。最后，研究人员可以探索将SALMONN应用于实际场景的方法，例如视频内容理解、人机交互等，以进一步验证其有效性和实用性。
SALMONN论文链接：https://arxiv.org/abs/2310.13289
