最近，一篇关于语言模型（LLM）的论文引起了广泛关注。该论文提出了一种名为"公理训练"的新方法，通过该方法，一个只有6700万参数的LLM能够学会因果推理，并在多个任务上表现出与万亿参数级的GPT-4相媲美的性能。
论文中，研究人员首先指出了因果推理在现实世界中的重要性。他们指出，对于基于文本的AI系统来说，因果推理是一项基本技能，因为它涉及到理解和预测现实世界中事件之间的因果关系。然而，由于干预性数据的获取成本较高，研究人员开始探索是否可以通过被动数据来教授因果推理。
为了解决这个问题，研究人员提出了一种名为"公理训练"的新方法。在这种方法中，研究人员首先定义了一系列因果公理，然后通过向模型提供这些公理的多个示例，让模型学会应用这些公理。具体来说，他们将每个因果公理表示为一个三元组，其中包含前提、假设和结论。然后，他们通过改变变量名称、数量和顺序等方式，生成了大量的合成数据，用于训练模型。
在实验中，研究人员使用了一种基于Transformer的模型，该模型具有6700万参数。他们首先在简单的因果链上训练模型，然后在更复杂的图结构上进行测试，包括更长的因果链、具有分支的图等。结果显示，经过公理训练的模型能够很好地泛化到新的图结构上，并在多个任务上表现出与GPT-4相媲美的性能。
然而，研究人员也指出了公理训练的一些局限性。首先，公理训练需要大量的合成数据，这可能会增加训练的计算成本。其次，公理训练可能无法处理一些复杂的因果关系，例如那些涉及多个变量之间的相互作用的关系。最后，公理训练可能无法处理那些在训练数据中没有明确表示的因果关系。
尽管如此，研究人员认为，公理训练为教授LLM因果推理提供了一种有前途的方法。他们指出，通过将因果公理表示为自然语言，并使用合成数据进行训练，可以有效地教授模型因果推理的能力。此外，由于公理训练可以应用于任何可以表示为自然语言的因果公理，因此它具有广泛的应用潜力。
