大型多视角高斯模型LGM：5秒产出高质量3D物体

随着虚拟现实、增强现实和元宇宙等技术的不断发展，对高质量3D物体的需求日益增加。然而，传统的3D物体创建方法往往需要耗费大量的时间和人力，限制了其在实际应用中的广泛使用。为了解决这一问题，来自北京大学、南洋理工大学S-Lab和上海人工智能实验室的研究者们提出了一种新的框架，即大型多视角高斯模型（LGM），能够在短短5秒内产出高质量的3D物体。
LGM模型的核心是大型多视角高斯模型，采用了一种高效轻量的非对称U-Net作为骨干网络。该模型可以从单视角图片或文本输入中，仅需5秒钟即可生成高分辨率、高质量的三维物体。具体而言，该模型接受四个视角的图像和对应的普吕克坐标作为输入，然后输出多视角下的固定数量高斯特征。这些高斯特征被直接融合为最终的高斯基元，并通过可微渲染技术得到各个视角下的图像。相比传统方法，LGM模型能够有效地克服在有限计算量下的高效3D表征和高分辨率下的三维骨干生成网络的挑战，生成的三维物体质量更高、更丰富。
通过LGM模型，研究者们成功地解决了在有限计算量下的高效3D表征和高分辨率下的三维骨干生成网络的挑战。该模型不仅在文本到多视角和图像到多视角的任务上取得了高质量的结果，而且能够生成多样的高质量三维模型，极大地促进了3D内容的创作和应用。例如，在虚拟现实领域，LGM模型可以用于快速生成逼真的虚拟场景和物体；在游戏开发中，可以帮助开发者快速构建游戏世界的道具和角色；在电影制作方面，可以加快特效制作的速度，提升视觉效果的质量。
目前，LGM模型的代码和模型权重已经开源，并提供了一个在线Demo供大家试玩。未来，随着技术的不断发展和完善，LGM模型有望在虚拟现实、游戏开发、电影制作等领域发挥更加重要的作用，为用户带来更加沉浸式、高质量的3D体验。同时，研究者们还将继续改进和优化LGM模型，使其能够更好地适应各种应用场景，并且带来更多的创新和惊喜。
大型多视角高斯模型LGM为实现高效、高质量的3D物体创作提供了全新的可能性。随着LGM模型的不断完善和推广，相信在不久的将来，我们将会看到更加丰富、更加逼真的虚拟世界和数字化内容，为人们带来更加精彩的视听体验。