在人工智能与机器人技术迅速发展的今天，3D几何信息在机器人操作任务中的重要性愈发凸显。机器人需要感知3D环境、理解空间关系，并与复杂的空间配置进行交互。然而，目前的2D大型预训练模型在处理3D操作任务时仍存在局限性，如缺乏大规模的机器人3D数据和潜在的空间几何信息损失。
为了解决这些问题，北京大学的研究团队提出了一种名为Lift3D的创新框架。该框架通过逐步增强2D基础模型的隐式和显式3D机器人表示，来构建一个鲁棒的3D操作策略。这一成果已发表在论文《Lift3D Foundation Policy: Lifting 2D Large-Scale Pretrained Models for Robust 3D Robotic Manipulation》中。
Lift3D的核心思想是利用现有的2D大型预训练模型，通过增强其隐式和显式3D机器人表示，使其能够处理3D操作任务。具体而言，Lift3D包括两个关键策略：
任务感知的掩码自编码器（Task-aware Masked Autoencoder）：该策略通过在2D图像中掩码与任务相关的可行区域，并重建深度信息，来增强2D基础模型的隐式3D机器人表示。这种方式不仅提高了模型对3D空间的感知能力，还为后续的点云模仿学习奠定了基础。
2D模型提升策略（2D Model-lifting Strategy）：该策略通过将2D基础模型的预训练位置嵌入（PEs）直接用于编码3D点云数据，来增强显式3D机器人表示。这种方式避免了模式转换过程中的空间信息损失，同时利用了2D基础模型的大规模预训练知识。
为了验证Lift3D的有效性，研究团队在多个模拟基准和真实世界场景中进行了广泛的实验。实验结果表明，Lift3D在多个方面表现出了优越的性能：
模拟基准测试：在MetaWorld和Adroit等模拟基准测试中，Lift3D的平均成功率分别比之前的SOTA 3D策略提高了18.2%和21.3%。这表明Lift3D在处理复杂3D操作任务时具有更高的准确性和鲁棒性。
真实世界实验：在真实世界实验中，Lift3D能够仅通过30个episodes的学习，就掌握新的操作技能。此外，Lift3D还展示了强大的泛化能力，能够有效地利用2D基础模型的大规模预训练知识和全面的3D机器人表示，在不同的操作实例、背景场景和光照条件下保持稳定的性能。
Lift3D的提出为2D大型预训练模型在3D操作任务中的应用提供了新的思路和方法。其创新之处在于通过增强隐式和显式3D机器人表示，使2D模型能够更好地理解和处理3D空间信息。实验结果表明，Lift3D在多个模拟基准和真实世界场景中都表现出了优越的性能，为3D操作任务的研究和应用提供了新的可能。
然而，Lift3D也存在一些局限性。首先，Lift3D主要关注于提升2D视觉模型在3D操作任务中的能力，而没有涉及语言条件的理解。虽然可以通过与CLIP等多模态模型的结合来解决这一问题，但如何更好地整合语言信息仍是一个挑战。其次，Lift3D的训练和推理过程可能需要较高的计算资源和时间成本，这可能限制了其在资源受限场景中的应用。
尽管存在一些局限性，但Lift3D的提出为3D操作任务的研究和应用带来了新的机遇。未来，研究人员可以进一步探索如何将Lift3D与多模态模型更好地结合，以实现更强大的3D Vision-Language-Action模型。此外，还可以研究如何优化Lift3D的训练和推理过程，以降低其计算资源和时间成本，使其能够更广泛地应用于实际场景中。
