最近，来自哈佛大学、UC Santa Barbara等机构的研究人员在生成式模型（Generative Models，GMs）领域取得了一项突破性的成果。他们的研究结果表明，生成式模型在特定任务上的性能可以超越训练集专家的水平，这一现象被称为“超越性”（transcendence）。
超越性是指生成式模型在特定任务上的性能超过了训练集中所有专家的平均水平。这可能听起来有些违反直觉，因为通常情况下，模型的性能应该受到训练数据的限制。然而，研究人员通过实验和理论分析，揭示了生成式模型在特定条件下实现超越性的可能性。
研究人员发现，生成式模型可以通过一种称为“低温度采样”（low-temperature sampling）的机制实现超越性。低温度采样是一种在模型输出概率分布上进行操作的方法，它倾向于选择概率较高的输出，从而减少模型的不确定性。研究人员证明，在低温度采样下，生成式模型可以通过减少专家的错误和偏差来实现超越性。
为了验证他们的理论，研究人员在下棋任务上进行了实验。他们训练了一个名为ChessFormer的生成式模型，该模型通过预测下一步棋来学习下棋。研究人员发现，当ChessFormer在低温度采样下运行时，它的下棋水平可以超过训练集中所有专家的平均水平。
研究人员还对超越性进行了理论分析。他们证明了在特定条件下，生成式模型可以通过低温度采样实现超越性。具体来说，他们考虑了两种情况：一种是数据由单个专家生成，另一种是数据由多个专家生成。对于第一种情况，他们证明了生成式模型可以通过低温度采样减少专家的错误来实现超越性。对于第二种情况，他们证明了生成式模型可以通过低温度采样整合多个专家的知识来实现超越性。
这项研究结果表明，生成式模型在特定任务上的性能可以超越训练集专家的水平，这为生成式模型的研究和应用开辟了新的可能。然而，需要注意的是，超越性并不是生成式模型的普遍特性，而是在特定条件下才能实现。此外，超越性也带来了一些伦理和安全问题，例如模型可能会学习到专家的偏见和错误。因此，在将生成式模型应用于实际任务时，需要仔细考虑这些问题并采取相应的措施。
