近日，一篇关于视频生成模型与物理规律理解的论文在学术界引起了广泛关注，甚至得到了深度学习领域泰斗Yann LeCun的转发点赞。这篇论文由字节跳动豆包大模型团队撰写，系统性地研究了类Sora模型在理解物理规律方面的能力。
OpenAI的Sora模型在视频生成领域展现出了惊人的潜力，它能够生成高度逼真的视频内容，甚至在一定程度上模拟了现实世界中的物理规律。这引发了一个有趣的问题：视频生成模型是否能够通过纯粹的视觉数据学习到这些物理规律，而无需人类的先验知识？
为了回答这个问题，字节跳动豆包大模型团队设计了一系列实验。他们首先构建了一个2D模拟测试平台，用于生成受经典力学定律（如牛顿运动定律）严格控制的视频。这个平台能够提供大量数据，用于训练和评估视频生成模型。
研究团队选择了扩散模型作为视频生成模型的代表，并对其进行了训练，使其能够根据初始帧预测物体的运动。他们设计了三种关键场景来评估模型的性能：
- 在分布内（In-distribution）：模型需要在与训练数据相同的分布中进行预测。
- 在分布外（Out-of-distribution）：模型需要在与训练数据不同的分布中进行预测。
- 组合泛化（Combinatorial generalization）：模型需要在训练数据中未出现过的组合情况下进行预测。
实验结果显示，扩散模型在分布内表现出了完美的泛化能力，但在分布外和组合泛化方面存在明显不足。具体来说，模型在面对新的、未见过的场景时，往往无法正确地预测物体的运动，而是倾向于模仿训练数据中与之最接近的案例。
研究团队进一步分析了模型的泛化机制，发现了两个关键点：
- 基于案例的泛化（Case-based generalization）：模型没有抽象出一般的物理规律，而是通过记忆和模仿训练数据中的特定案例来进行预测。
- 特征优先级（Feature prioritization）：在泛化到新案例时，模型会根据一定的优先级来参考训练数据中的特征，具体顺序为：颜色 > 大小 > 速度 > 形状。
这项研究揭示了视频生成模型在理解物理规律方面的局限性。尽管Sora等模型在视频生成方面取得了显著进展，但它们仍然无法仅通过视觉数据学习到真正的物理规律。这表明，单纯依靠模型规模的扩大（scaling）可能不足以使视频生成模型具备这种能力。
然而，这项研究也为未来的研究提供了有价值的启示。首先，它强调了在视频生成模型中引入物理先验知识的重要性。通过将物理规律显式地纳入模型的训练过程中，或许可以帮助模型更好地理解和预测现实世界中的物理现象。
其次，研究团队发现的基于案例的泛化和特征优先级机制，为改进视频生成模型的泛化能力提供了新的思路。例如，可以尝试设计更有效的训练策略，以鼓励模型学习到更抽象、更一般的物理规律，而不是仅仅依赖于对特定案例的记忆。
最后，这项研究也提醒我们，在评估视频生成模型的性能时，不能仅仅关注其在分布内的准确性，还需要考虑其在分布外和组合泛化方面的表现。只有这样，我们才能更全面地了解模型的能力和局限性，从而推动视频生成技术向更高水平发展。
