最近，一篇论文引起了人工智能领域的广泛关注。这篇论文由鄂维南院士领衔，提出了一种全新的大模型记忆机制，被称为"Memory3"。该研究由上海人工智能实验室的先进算法研究中心和北京大学的机器学习研究中心共同完成。
在论文中，研究人员指出，当前的大模型（LLMs）在训练和推理过程中都面临着高昂的成本。这种成本主要来自于将原始数据转化为有意义的计算所需的知识转移。为了降低这一成本，他们提出了一种基于显式记忆（explicit memory）的方法。
显式记忆是一种比模型参数和基于检索的生成（RAG）更经济的记忆格式。通过将大部分知识外部化为显式记忆，LLMs可以享受更小的参数大小、更低的训练成本和推理成本，这些都与剩余的"抽象知识"量成正比。
为了证明这一概念，研究人员从头开始训练了一个2.4B参数的LLM，该模型在性能上超过了更大的LLMs和RAG模型，同时保持了比RAG更高的解码速度。这个模型被称为Memory3，因为它是LLMs中的第三种记忆形式，前两种分别是隐式记忆（模型参数）和工作记忆（上下文键值）。
Memory3通过将文本转换为显式记忆，然后在推理过程中回忆这些记忆来工作。这些显式记忆可以被视为可检索的模型参数、外部化的知识或稀疏激活的神经回路。这种设计使得大多数现有的基于Transformer的LLMs只需进行少量微调就可以适应显式记忆，从而成为一种通用的"模型放大器"。
研究人员还引入了一种记忆电路理论来支持知识的外部化，并提出了一种新颖的记忆稀疏化机制，使存储变得可行。此外，他们还提出了一种两阶段预训练方案，以促进记忆的形成。
在性能方面，Memory3在各种基准测试中都表现出色。特别是在专业任务上，Memory3通过高频检索显式记忆实现了更好的性能，而RAG模型则使用固定数量的5个参考。然而，需要注意的是，这只是一个初步的实验，研究人员还没有优化预训练数据的质量和推理管道的效率，因此结果可能无法与最先进的模型进行比较。
在肯定Memory3的潜力的同时，我们也应该意识到它可能面临的一些挑战。首先，将知识外部化为显式记忆可能会引入额外的复杂性和开销，这可能会影响模型的效率和可扩展性。其次，Memory3的训练和推理过程可能需要更复杂的算法和硬件支持，这可能会增加实现的难度和成本。最后，Memory3的性能和适用性可能受到预训练数据的质量和多样性的限制，这可能需要进一步的研究和优化。
