近日，来自约翰斯•霍普金斯大学（JHU）、上海交通大学等机构的研究人员提出了一种名为X-Gaussian的新型3D Gaussian Splatting（3DGS）框架，用于X光新视角合成。这项研究被接收为ECCV 2024的论文，并引起了广泛关注。
X光因其较强的穿透力而被广泛应用于透射成像。然而，在渲染新视角的X光投影时，基于NeRF的现有方法存在训练时间长、推理速度慢等问题。为了解决这些问题，研究人员提出了X-Gaussian框架。
X-Gaussian框架基于3D Gaussian Splatting技术，并针对X光成像的特点进行了优化。首先，研究人员重新设计了一个辐射性Gaussian点云模型，该模型受到X光成像各向同性特性的启发。该模型在学习预测3D点的辐射强度时，排除了视角方向的影响。
其次，研究人员开发了一种可微分辐射光栅化（DRR）技术，并使用CUDA进行了实现。这种技术可以有效地处理X光成像中的辐射信息。
此外，研究人员还提出了一种名为Angle-pose Cuboid Uniform Initialization（ACUI）的策略。该策略利用X光扫描仪的参数直接计算相机信息，并均匀地在包围扫描对象的长方体内对点位置进行采样。
研究人员在实验中展示了X-Gaussian框架在性能上的优势。与最先进的方法相比，X-Gaussian在性能上提升了6.5dB，同时训练时间减少了85%，推理速度提高了73倍。
这些结果表明，X-Gaussian框架在X光新视角合成方面具有显著的性能优势。它不仅可以提高渲染质量，还可以显著减少训练时间和推理时间，从而提高计算效率。
除了在性能上的优势，X-Gaussian框架还具有实际应用价值。研究人员展示了它在稀疏视角CT重建中的应用，结果表明该方法在实际应用中具有潜力。
此外，研究人员还公开了X-Gaussian的代码和训练过程的可视化视频，这将有助于其他研究人员进一步研究和应用该方法。
X-Gaussian框架的提出为X光新视角合成提供了一种全新的解决方案。它通过重新设计辐射性Gaussian点云模型和可微分辐射光栅化技术，实现了在性能和计算效率上的显著提升。
尽管X-Gaussian框架在实验中表现出色，但仍有一些潜在的问题需要进一步研究和解决。例如，如何进一步提高渲染质量和计算效率，以及如何将该方法应用于其他类型的成像任务等。
