在ICLR 2024会议上，一项名为MUSTARD（数学推理的多步联合训练和数据增强）的研究引起了广泛关注。这项研究旨在解决数学推理任务中的两个挑战：数据质量和模型泛化能力。
首先，数学推理任务通常需要处理复杂的中间步骤，如代数表达式的简化、方程的求解等。然而，现有的数学推理数据集往往缺乏对这些中间步骤的详细标注，导致模型难以学习到正确的推理过程。为了解决这个问题，MUSTARD提出了一种多步联合训练的方法，通过将问题分解为多个子问题，并要求模型在每个子问题上进行推理，从而学习到更丰富的推理过程。
其次，数学推理任务的泛化能力也是一个挑战。现有的数学推理模型往往只能处理特定领域的数学问题，无法泛化到其他领域。为了解决这个问题，MUSTARD提出了一种数据增强的方法，通过将数学问题进行变形和扩展，生成更多的训练样本，从而提高模型的泛化能力。
在实验中，研究人员将MUSTARD与现有的数学推理模型进行了比较。结果表明，MUSTARD能够生成更高质量的数学推理数据，并显著提高模型的泛化能力。此外，MUSTARD还具有可解释性强、可扩展性强等优点。
然而，MUSTARD也存在一些局限性。首先，多步联合训练的方法可能需要更多的计算资源和时间。其次，数据增强的方法可能需要更多的领域知识和专家参与。
