在人工智能领域，大型语言模型（LLM）的快速发展为我们带来了前所未有的便利。然而，随着模型规模的不断扩大，如何有效更新和编辑模型中的知识，以适应不断变化的世界事实，成为了一个亟待解决的问题。在即将召开的NeurIPS 2024会议上，浙江大学的研究团队提出了一种名为WISE的创新方法，旨在解决这一挑战。
LLM的强大能力源于其庞大的参数量和复杂的神经网络结构。然而，这也带来了一个问题：如何在不破坏原有知识体系的前提下，对模型进行知识更新。传统的方法主要有两种：直接编辑模型参数（长期记忆）或通过检索机制更新模型的非参数化知识（工作记忆）。然而，这两种方法都存在明显的局限性。
直接编辑模型参数可能会导致与无关预训练知识或先前编辑的冲突，从而影响模型的可靠性和局部性。而基于检索的激活方法则难以使模型真正理解编辑内容，从而影响其泛化能力。因此，如何在保证可靠性、泛化性和局部性的前提下，实现对LLM的知识更新，成为了一个“不可能三角”。
为了解决这一问题，浙江大学的研究团队提出了WISE方法。WISE的核心思想是设计一个双参数化记忆方案，包括一个主记忆（用于存储预训练知识）和一个侧记忆（用于存储编辑后的知识）。在进行知识更新时，WISE只编辑侧记忆中的内容，并通过训练一个路由器来决定在给定查询时使用哪个记忆。
此外，为了实现持续编辑，WISE还引入了一种知识分片机制。该机制将不同的编辑内容存储在参数的不同子空间中，并在需要时将它们合并到一个共享的记忆中，从而避免了冲突。
通过在问答、幻觉和分布外设置等多个任务上的广泛实验，研究团队证明了WISE方法的有效性。实验结果表明，WISE能够显著优于先前的模型编辑方法，并在不同LLM架构（如GPT、LLaMA和Mistral）上克服了“不可能三角”。
WISE方法的优势主要体现在以下几个方面：
- 可靠性：通过将编辑内容存储在侧记忆中，WISE避免了与预训练知识的冲突，从而提高了模型的可靠性。
- 泛化性：通过训练路由器来决定使用哪个记忆，WISE使模型能够更好地理解和泛化编辑内容。
- 局部性：通过知识分片机制，WISE将不同的编辑内容存储在不同的子空间中，从而实现了对编辑内容的局部控制。
