在人工智能领域，交互式世界模型作为一种新兴技术，正逐渐成为研究的热点。这类模型赋予了基于模型的智能体在模拟环境中进行交互式探索、推理和规划的能力，以支持现实世界中的决策制定。然而，要实现高度互动性与大规模扩展性的结合，对于视频生成模型来说是一个不小的挑战。近期，清华大学联合华为诺亚方舟实验室等团队，提出了一种名为iVideoGPT的新型交互式世界模型框架，其研究成果在预印本网站arXiv上发表，引起了业界的广泛关注。
iVideoGPT的核心优势在于其可扩展的自回归变换器框架，该框架能够将视觉观察、动作和奖励等多模态信号整合到一个序列化的标记序列中，通过预测下一个标记来促进智能体的交互体验。该模型采用了一种新颖的压缩标记技术，有效地将高维视觉观察结果进行了离散化处理，显著提高了处理效率。利用这一可扩展的架构，研究团队在数百万人类和机器人操控轨迹上进行了预训练，为广泛的下游任务建立了一个多功能的基础，如动作条件视频预测、视觉规划和基于模型的强化学习等，在这些领域iVideoGPT均展现出了与最先进方法相媲美的性能。
iVideoGPT的提出，标志着在交互式通用世界模型的发展上迈出了重要的一步，它在生成视频模型与基于模型的强化学习应用之间架起了桥梁。这种模型的实用性和高效性，使其在视觉机器人操控等实际应用中展现出了巨大的潜力。
从研究的角度来看，iVideoGPT的架构设计巧妙，它通过自回归变换器的方式，将多模态信号整合到标记序列中，实现了对视频内容的高效预测和控制。这种设计不仅提高了模型的可扩展性，还保持了与大型语言模型（LLM）生态系统的无缝集成，显示出了在处理多样化条件时的灵活性。
在预训练阶段，iVideoGPT利用了超过一百万的轨迹数据，这些数据来源于机器人和人类的操控行为。通过大规模的预训练，模型学习到了丰富的物理世界知识，这为其在多种下游任务中的适应性提供了强有力的支持。此外，iVideoGPT在微调阶段展现出了良好的灵活性，能够根据不同的任务需求，通过线性投影和奖励预测等手段，将动作和奖励信号有效地整合到模型中。
在实验部分，研究团队对iVideoGPT进行了全面的性能评估。在视频预测、视觉规划和视觉模型增强学习等多个场景中，iVideoGPT均显示出了强大的竞争力。特别是在视觉模型增强学习方面，iVideoGPT不仅显著提高了样本效率，还与最先进的模型基强化学习算法相匹敌，这表明了其在实际应用中的潜力。
然而，尽管iVideoGPT在技术上取得了显著的进展，但仍存在一些局限性和改进空间。首先，公开可用的机器人数据集在多样性上仍有限制，这可能影响到模型的泛化能力。其次，iVideoGPT在处理长视频和显著相机运动的场景时可能会遇到挑战，这需要在未来的研究中加以解决。此外，尽管模型在低分辨率下的表现已经相当不错，但在高分辨率视频的处理上，如何保持预测的准确性和效率，也是需要进一步研究的问题。
