这篇名为《在视觉表征学习中学习和利用世界模型》的论文探讨了在视觉表示学习中学习和利用世界模型的方法，尤其是提出了一种名为“图像世界模型”（Image World Models，IWM）的新方法。该方法超越了传统的遮蔽图像建模，学习在潜在空间中预测全局光度变换的影响。研究者通过实验证明，通过微调学习到的预测性世界模型，可以在多种任务上达到或超过以往自监督方法的性能。
论文首先介绍了在强化学习中学习和利用世界模型的常见做法，并探讨了这种方法是否也能在视觉表示学习中带来好处。作者们提出了一种基于编码器-预测器架构的自监督学习方法，通过训练网络来预测数据的变换。例如，遮蔽图像建模和联合嵌入预测架构等。这些方法可以看作是在数据变换被视为“动作”的情况下，与强化学习中的世界建模相联系。
研究者们提出了图像世界模型，这是一种基于JEPA的方法，它扩展了通常的潜在空间修复任务，还包括了光度变换。通过这种方式，他们展示了学习有效世界模型的关键方面，包括预测器的条件化、变换的难度和容量。此外，他们还展示了通过微调学习到的图像世界模型，可以适应解决多种任务，并且微调后的图像世界模型在性能上匹配或超过了以前的自监督方法。
论文还探讨了利用图像世界模型学习到的世界模型来控制学习表示的抽象层次。如果预测器是恒等的，网络将捕获高层次的语义信息，因为它们只需要编码输入和其变换之间的共享信息。这是对比学习方法表示质量的驱动力，其中变换被选择为仅保留图像的语义。另一方面，随着预测器容量的增加，它可以有效地反转变换的影响，编码器的输出可以保留更多关于其输入的信息。这两种思想是等变表示学习的核心；能够有效应用变换的预测器是等变的，而不能的则是不变的。研究发现，不变的世界模型在线性评估中表现更好，而等变的世界模型在预测器微调时与更好的性能相关联。这提供了适应性和原始性能之间的权衡。因此，通过学习世界模型来学习表示，为我们提供了表示属性的灵活性，使这成为一个有吸引力的表示学习框架。
论文还详细介绍了图像世界模型的方法，包括如何生成源视图和目标视图，以及如何通过编码器和预测器来实现世界建模。他们使用了Vision Transformer（ViT）作为编码器，并根据预测器的深度和嵌入维度来命名图像世界模型实例。
在实验部分，研究者们评估了世界模型的质量，并探讨了如何通过条件化预测器、控制变换的复杂性和预测器的容量来构建一个强大的图像世界模型。他们还展示了如何通过微调预测器来利用世界模型解决下游任务，如图像分类和图像分割。此外，他们还展示了如何通过多任务预测器微调来进一步提高效率。
最后，论文讨论了图像世界模型在表示学习中的灵活性，展示了如何通过学习世界模型来控制表示的抽象层次。他们通过线性和有注意力的探测方法来评估图像世界模型的性能，并发现等变世界模型在有注意力的探测中表现更好，而不变的世界模型在线性探测中表现更好。这表明，不同的评估协议评估了表示的不同属性。
这篇论文提出了一种新的自监督视觉表示学习方法，通过学习和利用世界模型，可以在多种任务上实现高性能。这种方法不仅在性能上具有竞争力，而且在适应性方面也显示出了巨大的潜力。通过调整世界模型的等变性，研究者们能够在表示的抽象层次上进行灵活的控制，这为视觉表示学习提供了一个新的视角。
