在计算机视觉领域，动作技能的高效传递是一个重要的研究方向。最近，Meta公司提出了一种名为LEGO的新颖模型，该模型旨在从第一视角生成动作图像，以促进技能传递过程。该研究已被选为ECCV2024（欧洲计算机视觉会议）的口头报告。
大型语言模型（LLMs）的兴起，如ChatGPT，已经在知识传递方面取得了革命性的成果。然而，LLMs在动作技能传递方面存在局限性。它们往往提供一般性的指导，可能不适用于用户的具体情况。另一方面，第一视角的视觉感知提供了一种新颖的方式来捕捉动作和意图，以及相机佩戴者的周围环境。
为了解决这个问题，Meta公司提出了LEGO模型，该模型将用户的查询和从用户视角捕获的图像作为输入，并生成一个第一视角的动作帧，生动地展示了查询动作的执行过程。
LEGO模型的核心思想是利用视觉大型语言模型（VLLMs）的强大能力来增强扩散模型，以实现第一视角的动作图像生成。具体来说，LEGO模型包括两个主要部分：
- 第一视角视觉指令微调：该部分使用GPT-3.5生成详细的动作描述，并使用这些描述对VLLM进行微调。通过这种方式，VLLM可以学习到更丰富的动作细节，从而更好地理解动作的执行过程。
- 第一视角动作图像生成：该部分利用微调后的VLLM的图像和文本嵌入，以及扩散模型，来生成第一视角的动作图像。通过将VLLM的嵌入作为扩散模型的条件，LEGO模型可以更好地控制动作的状态变化，并生成更准确的动作图像。
为了验证LEGO模型的性能，研究人员在两个第一视角数据集上进行了实验：Ego4D和Epic-Kitchens。实验结果表明，LEGO模型在定量和定性评估方面都显著优于之前的图像操作模型。
在定量评估方面，LEGO模型在所有六个指标上都显著优于之前的模型，包括CLIP分数、EgoVLP分数、EgoVLP+分数、FID、PSNR和LPIPS。特别是在Ego4D数据集上，LEGO模型在所有指标上都取得了最佳性能。
在定性评估方面，研究人员展示了LEGO模型生成的图像示例，并与其他模型进行了比较。这些示例表明，LEGO模型能够生成更准确的动作图像，并更好地保留输入图像的环境上下文。
LEGO模型的提出，为第一视角下的动作图像生成提供了一种新颖的方法，并在定量和定性评估方面都显著优于之前的模型。该模型的提出，对于促进动作技能的传递具有重要意义，并为未来的研究提供了新的思路。
然而，LEGO模型也存在一些局限性。首先，该模型的训练需要大量的数据和计算资源，这可能限制了其在实际应用中的普及。其次，该模型的生成结果可能受到输入图像的质量和多样性的影响，这可能需要进一步的研究来解决。
