最近，一篇荣获ACL杰出论文奖的研究引起了广泛关注。该研究由约翰斯•霍普金斯大学（JHU）等机构联合发布，旨在解决当前大模型在心智能力上的缺陷。他们提出了首个多模态心智理论（ToM）测试集——MMToM-QA，为全面提升大模型的心智能力提供了新的思路和方法。
心智理论（ToM）是指理解他人心理状态的能力，包括信念、愿望、意图等。它是人类社交智能的重要组成部分，对于机器与人类进行自然交互至关重要。然而，尽管近年来机器学习模型，尤其是大型语言模型，在ToM理解方面取得了一些进展，但现有的ToM基准测试集都是单模态的，要么基于视频，要么基于文本。这与人类ToM的灵活性和多样性相去甚远。
为了解决这个问题，研究人员引入了MMToM-QA，一个多模态ToM问答基准测试集。它不仅包含多模态数据，还包含关于个人在家庭环境中活动的不同类型的单模态数据。通过这种方式，MMToM-QA能够更全面地评估机器的ToM能力。
为了实现多模态ToM能力，研究人员提出了一种名为BIP-ALM（基于贝叶斯逆规划的语言模型加速）的新颖方法。BIP-ALM从多模态数据中提取统一表示，并利用语言模型进行可扩展的贝叶斯逆规划。这种方法结合了基于模型的心理推理和语言模型的力量，有望在多模态ToM任务中取得更好的性能。
为了评估BIP-ALM的效果，研究人员进行了系统性的比较实验，包括人类性能、BIP-ALM以及最先进的模型，如GPT-4。实验结果表明，尽管大型语言模型和大型多模态模型在ToM能力上取得了一定的进展，但它们仍然缺乏稳健的ToM能力。相比之下，BIP-ALM展现出了令人鼓舞的结果，表明通过结合基于模型的心理推理和语言模型的力量，可以实现更强大的ToM能力。
然而，这项研究也存在一些局限性。首先，MMToM-QA主要关注个人在家庭环境中的活动，可能无法完全代表真实世界中的所有情况。其次，BIP-ALM的性能仍然有待进一步提升，以达到与人类相媲美的水平。此外，将BIP-ALM应用于实际场景时，可能还需要解决一些技术挑战，如数据隐私和计算资源等。
