综述原文见 ArxivReview
导读
LiDAR点云感知旨在从无序三维点集中提取几何与语义信息,其核心价值在于为自动驾驶提供高精度的环境理解能力。早期研究聚焦于解决点云无序性与GPU并行计算效率的矛盾,通过Range-view投影将三维数据映射为二维图像,利用成熟的卷积网络提升推理速度。随着部署场景从封闭测试场扩展至开放道路,恶劣天气导致的点云缺失与传感器异构引发的分布偏移成为新的核心挑战。为应对数据标注成本高昂与长尾场景稀缺问题,视觉基础模型蒸馏与扩散模型生成技术相继引入,分别降低了语义学习的数据依赖并增强了场景重建的多样性。当前领域已形成高效骨干网络、生成式增强与安全防御机制深度融合的技术格局。本综述梳理从几何高效处理到开放世界鲁棒感知的因果演进链条,为读者提供一张领域认知地图。全文按问题演化与路线取舍组织,覆盖该领域从奠基到当前的主要工作。
1. 研究背景、问题结构与演进脉络
LiDAR点云感知的兴起源于自动驾驶对高精度三维几何感知的刚性需求,其核心任务是为点云中的每个点分配语义标签或恢复完整几何结构。在深度学习介入之前,该领域主要依赖传统几何算法,但PointNet等里程碑工作的出现标志着范式从手工特征提取向端到端数据驱动的根本转变。问题形式化通常定义为:给定LiDAR扫描得到的无序点集 $P = {p_i | i=1,...,N}$,其中 $p_i \in \mathbb{R}^3$ 表示三维坐标,模型需学习映射函数 $f: P \rightarrow Y$,输出语义标签 $Y$ 或补全后的完整场景。这一形式化隐含了两个关键假设:点云几何结构在训练与测试分布中保持一致,且标注数据充足且质量可靠。然而,真实驾驶环境中的雨雪雾天气会导致点云稀疏与噪声增加,不同品牌LiDAR的线束数量差异会改变点密度分布,这些现实约束使得早期假设在部署时迅速失效。
子问题之间存在严格的层级依赖关系,数据表示是基础,决定了特征提取的效率与上限。Range-view投影等高效表示方法解决了计算瓶颈,但引入了投影畸变,这直接影响了后续鲁棒性模块的设计空间。鲁棒性研究(如域泛化与去噪)依赖于对数据分布偏移的精确建模,而生成式方法(如场景补全与数据增强)则依赖于对几何结构的先验理解。安全与分布外(Out-of-Distribution, OOD)检测进一步依赖于对正常分布的精确刻画,任何上游表示的偏差都会传导至下游的安全判断。因此,领域演进并非各子问题的独立优化,而是表示、鲁棒性、生成与安全四者之间的耦合迭代。
2017年至2018年是奠基期,PointNet确立了直接处理无序点集的范式,随后SqueezeSeg通过球面投影将点云转换为二维范围图像,开创了投影式高效处理路线。这一时期的核心矛盾是三维点云的非欧结构与二维卷积网络的高效性之间的冲突,研究者选择牺牲部分三维几何细节以换取计算效率。2019年RangeNet++进一步利用GPU加速k-NN后处理,确立了投影方法在效率上的优势,成为后续研究的基线。2020年前后,PolarNet引入极坐标鸟瞰图表示,缓解了传统投影中的几何畸变问题,推动了鸟瞰图(Bird's-Eye View, BEV)表示在LiDAR感知中的应用,标志着表示学习从单一投影向多视角融合过渡。
2021年至2023年,问题定义从理想数据下的精度提升转向真实噪声与长尾分布下的鲁棒性。2021年LMSCNet提出基于深度学习的场景补全方法,解决了遮挡区域的几何恢复问题。2022年LiDiff将扩散模型引入LiDAR场景补全,标志着生成式模型在三维重建领域的兴起,同时Cylinder3D采用圆柱体素化策略平衡精度与效率,成为大规模户外点云处理的主流骨干。这一阶段的转折在于,研究者意识到仅靠真实数据无法覆盖所有驾驶场景,必须引入生成式模拟与域泛化策略来应对数据稀缺与分布偏移。
2024年至2026年,问题边界扩展至开放世界与生成式仿真,视觉基础模型(Vision Foundation Model, VFM)与扩散模型的深度融合成为新趋势。2024年PointNetVLAD结合特征提取与聚合用于地点识别,Mask4Former-3D引入Transformer解码器支持全景分割与OOD检测。2025年RangeSAM探索SAM2在LiDAR分割中的潜力,Vernata提出多模态多教师蒸馏框架,利用DINOv2等VFM指导LiDAR点表示学习,显著降低了标注依赖。2026年A3POINT提出增强增强感知的潜在学习框架,PatchScene提出基于补丁的体素扩散模型,OmniLiDAR构建统一的多域LiDAR生成框架。当前形态表现为高效骨干网络、生成式增强与安全内生机制的混合架构,核心问题已从单纯的几何重建演变为在开放、动态、对抗环境下的可靠感知。
如果用一个核心问题概括该领域,那便是:如何在有限标注、传感器退化及开放世界未知干扰下,构建具备几何一致性、语义丰富度及实时性的LiDAR感知表示与决策框架。
2. 方法体系
2017:PointNet——提出基于多层感知机(MLP)和对称池化函数的点云处理架构,直接处理无序3D点集并提取全局特征,奠定了点云深度学习的基础范式(arxiv_2509.10841)。
2018:SqueezeSeg——采用球面投影将点云转换为2D范围图像,结合SqueezeNet编码器-解码器网络进行语义分割,开创了投影式高效处理LiDAR数据的技术路线(arxiv_2509.10841)。
2022:LiDiff——将扩散模型引入LiDAR场景补全,通过在点云坐标空间添加高斯噪声并学习去噪过程,解决了遮挡区域几何歧义问题,标志着生成式模型在3D补全领域的兴起(arxiv_2602.02232)。
2023:Cylinder3D——采用圆柱体素化策略平衡精度与效率,通过稀疏卷积处理大规模户外点云,成为当前LiDAR语义分割的主流骨干网络之一(arxiv_2605.17135)。
2025:Vernata——提出多模态多教师蒸馏框架,利用DINOv2等视觉基础模型的特征指导LiDAR点表示学习,解决了户外LiDAR密度变化和语义线索有限的问题(arxiv_2608.06919)。
2025:LiNeXt——提出非扩散的高效单步场景补全架构,通过复制观测点并添加固定方差噪声进行初始化,大幅降低了推理时间,实现了实时场景补全(arxiv_2511.10209)。
2026:A3POINT——提出增强增强感知潜在学习框架,通过离散潜在表示学习语义混淆先验并定位语义偏移区域,提升了LiDAR分割在恶劣天气下的域泛化能力(arxiv_2603.01074)。
2026:OmniLiDAR——构建统一的多域LiDAR生成框架,通过单一文本条件扩散模型覆盖天气、传感器配置和采集平台等多种域偏移,提升了生成数据的多样性(arxiv_2605.13815)。
这条时间线勾勒了该领域方法演进的代表性节点:从 2017 年的 PointNet 奠定该领域方法基线,经 2018 年 SqueezeSeg 的推进,到 2026 年的 RALoc 代表当前前沿。各节点对应的技术路线、取舍与关联,详见后续小节。
2.1 语义分割与鲁棒性
语义分割是LiDAR感知的核心任务,其方法演进始终围绕计算效率与分布鲁棒性两大约束展开。早期工作如Point-Plane Projections(Mosco et al., 2025, P2)针对小数据场景,通过结合点云和平面投影融合多视图特征,以计算开销换取数据受限下的精度提升。随着部署环境复杂化,域泛化成为关键挑战。A3POINT(Li et al., 2026, P32)针对恶劣天气下的语义混淆问题,提出增强增强感知的潜在学习框架,通过离散潜在表示学习语义混淆先验,并引入异常检测机制定位语义偏移区域,以模型复杂度换取跨天气泛化能力。DuNe(Kong et al., 2025, P13)则聚焦噪声标签与域泛化共存问题,通过注入对称标签噪声模拟真实标注不完美,以训练复杂度换取对不完美标注的鲁棒性。
在效率与精度的平衡上,HARP-NeXt(Abou Haidar et al., 2025, P12)提出高速且准确的范围-点融合网络,通过优化预处理工作流加速范围图像生成,并融合原始点云特征保留几何细节,以硬件依赖换取实时性与精度的兼顾。半监督学习方面,CoLLiS(Yang and Condurache, 2026, P44)利用教师-学生网络架构与一致性正则化,以双网络维护成本换取低标注比例下的性能提升。REPL(Kwon et al., 2026, P39)进一步引入伪标签精炼器,通过掩码重构技术修正不确定体素的伪标签,以推理开销换取伪标签质量提升,缓解确认偏差。
域泛化策略从数据增强转向几何感知。Source-Only Cross-Weather LiDAR(Cheong and An, 2025, P16)整合选择性抖动与基于强化学习的可学习点丢弃模块,引入轻量级几何感知适配器,以RL训练复杂度换取对天气引起结构畸变的显式建模。CVGC(Zhao et al., 2026, P31)提出基于几何一致性的跨视图域泛化框架,通过强制跨视图语义和结构一致性学习视点不变表示,以几何变体构建成本换取跨视点迁移能力。这些方法共同表明,鲁棒性不再是附加模块,而是通过显式建模分布偏移机制内生于感知框架之中。
2.2 场景补全与重建
场景补全旨在从稀疏LiDAR点云恢复完整三维几何结构,其方法演进体现了从判别式回归到生成式建模,再到高效实时化的技术路径。早期工作如LMSCNet(2021)通过回归体素占据状态恢复缺失几何,属于判别式模型代表。随着生成式模型兴起,LiDiff(2022)将扩散模型引入LiDAR场景补全,通过在坐标空间添加高斯噪声并学习去噪过程,解决了遮挡区域几何歧义问题,以多步迭代推理时间换取生成质量与几何保真度。
为突破扩散模型推理速度慢的瓶颈,LiNeXt(He et al., 2025, P19)提出非扩散架构,通过复制观测点并添加固定方差高斯噪声进行初始化,利用轻量级网络单步前向传播生成完整场景,以初始化策略可能引入的数据集特定偏差换取实时推理能力。LiFlow(Matteazzi and Tutsch, 2026, P29)则采用流匹配替代扩散模型,学习速度场引导点云演化,以流场估计计算量换取采样效率提升。PatchScene(2026, P59)提出基于补丁的体素扩散模型,将场景划分为局部三维区域并行生成细粒度几何,以补丁间融合计算换取大规模场景补全效率。
针对特定场景,PDL(2026, P57)利用外部视觉信息引导扩散模型,通过概率姿态差异最小化校正噪声视觉检测,以视觉传感器依赖换取路边场景极端稀疏下的补全完整性。SuperiorGAT(Awedat et al., 2025, P26)与GAT-Based Framework(Awedat et al., 2025, P24)则聚焦光束丢失问题,利用图注意力网络动态优化点对点交互,以图构建与注意力计算延迟换取垂直稀疏性下的结构恢复精度。PointDiffusion(Agbasiere et al., 2026, P48)提出模块化架构,解耦几何补全与语义标注,以VAE训练对高质量真值的依赖换取生成模型的灵活性与可扩展性。这些方法共同推动了场景补全从离线高精度向在线实时化的转变。
2.3 数据生成与增强
数据生成与增强旨在解决长尾场景数据稀缺问题,其方法演进从单一模态生成向多模态可控生成、从静态场景向4D时序序列扩展。LiDAR Point Cloud Image-based Generation(Aghanouri and Olaverri-Monreal, 2025, P7)基于去噪扩散概率模型(DDPM)在范围图像空间生成合成数据,以投影过程可能丢失部分三维结构的代价换取生成图像的几何保真度。R3DPA(Sereyjol-Garros et al., 2026, P27)利用三维表示对齐和RGB预训练先验,通过端到端训练联合优化VAE编码器与生成模型,以联合训练复杂度换取生成数据的语义一致性。
场景编辑方面,Range-Edit(Uppur et al., 2025, P22)提出语义掩码引导的户外LiDAR场景编辑方法,利用扩散模型在范围视图进行图像编辑,以投影和逆投影可能引入的几何畸变换取可控的场景重构能力。rareboost3d(Lin et al., 2025, P14)利用CARLA模拟器生成针对稀有类别增强的合成LiDAR数据集,以模拟器与真实数据间的域差距换取类别不平衡问题的缓解。
4D时序生成成为新前沿。LiDARCrafter(Liang et al., 2025, P3)通过文本到布局、布局到场景、场景到序列三阶段流程实现可控的4D LiDAR序列生成,以布局构建复杂度换取语言可控的时序一致性。LiSTAR(Liu et al., 2025, P21)提出以射线为中心的4D LiDAR序列世界模型,利用HCS坐标系对齐LiDAR射线几何,以坐标变换复杂度换取生成几何保真度。LaGen(Zhou et al., 2025, P23)利用自回归模型逐步生成LiDAR扫描,以自回归生成速度慢的代价换取时序和空间依赖的捕捉。LiDARDraft(Wei et al., 2025, P25)将文本、图像和语义线索统一为布局表示,通过RayCasting投影为范围图像,以多模态对齐复杂度换取从文本到点云的直接生成能力。OmniLiDAR(Liu et al., 2026, P42)构建统一的多域LiDAR生成框架,通过单一文本条件扩散模型覆盖多种域偏移,以模型容量换取生成数据的多样性。这些方法共同推动了生成式模拟从数据增强向闭环仿真测试的演进。
2.4 自监督与预训练
自监督与预训练旨在降低对昂贵三维标注数据的依赖,其方法演进从纯三维自监督向跨模态蒸馏、从单一任务向多目标学习扩展。LIDARLearn(Ohamouddou et al., 2026, P41)提出统一的深度学习库,提供模块化架构支持快速集成新模型,以库维护成本换取算法迭代与实验复现效率。Vernata(Lemke et al., 2026, P53)提出多模态多教师蒸馏框架,利用DINOv2等视觉基础模型作为教师,通过LoftUp上采样和双线性采样将图像特征投影到点云,以投影过程计算开销换取点表示的语义丰富性。
HilDA(Wozniak et al., 2026, P49)提出层次蒸馏与扩散结合的自监督预训练框架,利用2D视觉基础模型的多层特征和全局上下文指导3D学生网络,并引入时序占据扩散作为辅助目标,以多目标训练复杂度换取特征的语义和时序丰富性。TOLiD(Mahendran et al., 2026, P51)提出通过令牌提升蒸馏桥接视觉基础模型与LiDAR预训练架构差距的方法,耦合LiDAR骨干与学生ViT,以令牌提升计算复杂度换取特征对齐有效性。ALISE(Lyu et al., 2025, P10)提出无标注LiDAR实例分割方法,利用视觉基础模型生成初始3D伪标签,通过两阶段精炼策略提升标签质量,以伪标签生成对视觉模型的依赖换取标注成本降低。
Bootstrapping a 4D LiDAR Annotation Tool(Kim et al., 2026, P56)利用SAM2从多视图RGB图像生成时序分割掩码,通过几何投影和多视图聚合转移至LiDAR域,以投影可能丢失细节的代价换取4D LiDAR标注自动化。XD-MAP(Bieder et al., 2026, P28)提出通过语义参数图进行跨模态域适应的可扩展训练数据生成方法,以参数图提取复杂度换取跨传感器配置泛化能力。LiDAR-Anchored Collaborative Distillation(Jo et al., 2026, P30)利用LiDAR几何信息指导2D编码器学习,以LiDAR-2D对齐复杂度换取恶劣条件下2D特征鲁棒性。这些方法共同表明,视觉基础模型提供的语义先验已成为降低三维标注依赖的关键路径。
2.5 定位与建图
定位与建图旨在解决LiDAR全局定位、场景识别及里程计问题,其方法演进从单一特征匹配向多视图融合、自监督学习及旋转鲁棒性扩展。Classification-based Representation Learning(Konoplia and Khizbullin, 2025, P15)提出基于分类的LiDAR扫描地点识别表示学习方法,利用分类目标训练编码器并结合对比损失,以分类标签手动标注成本换取特征判别能力。BEV-SLD(Skuddis et al., 2026, P35)提出基于LiDAR鸟瞰图自监督场景地标检测的全局定位方法,将点云投影为BEV密度图像,以BEV投影丢失垂直细节的代价换取高效处理点云能力。
MPTF-Net(Li et al., 2026, P38)提出多视图金字塔Transformer融合网络,从范围图像和NDT鸟瞰图提取多尺度特征,通过金字塔Transformer双向交叉注意力融合,以Transformer计算开销换取全局和局部细节捕捉。KDF+(Wang et al., 2025, P20)提出损失感知记忆增强持续学习框架,引入损失感知采样机制和排练增强机制缓解灾难性遗忘,以损失计算与排练存储成本换取动态环境下的适应性。RALoc(2025, P60)引入旋转感知机制增强户外LiDAR定位,通过随机旋转数据增广和旋转不变特征学习,以旋转增广增加训练数据量的代价换取姿态变化下的鲁棒性。
MB-Loc(Choudhury et al., 2026, P47)提出多平面鸟瞰图定位方法,将点云投影为2.5D多平面BEV表示,以Z切片量化引入误差的代价换取垂直结构感知能力。InLiER(Stathoulopoulos and Nikolakopoulos, 2026, P52)提出无学习异构LiDAR地点识别方法,通过中间混合基数结构关键点令牌化,以令牌提取复杂度换取传感器异构问题解决方案。Efficient Active Training(Zhou et al., 2025, P1)提出高效主动训练策略用于深度LiDAR里程计,采用两阶段训练集选择,以特征计算复杂度换取恶劣天气适应性。这些方法共同推动了定位系统从静态地图匹配向动态、鲁棒、异构兼容的演进。
2.6 安全与对抗鲁棒
安全与对抗鲁棒旨在提升LiDAR感知系统在物理攻击下的可靠性,其方法演进从点云级过滤向全波形信号处理、从被动防御向主动检测扩展。Relative Energy Learning(Li et al., 2025, P17)提出相对能量学习框架用于LiDAR分布外检测,基于Mask4Former-3D架构扩展OOD投影分支,以OOD投影分支增加参数的代价换取内点语义分割和点级OOD检测的联合学习。ATLAS(Zhang et al., 2026, P46)提出大规模对抗LiDAR感知评估基准,模拟路边欺骗器威胁模型,以攻击模拟复杂度换取鲁棒性不对称性揭示。
DOODLE(2026, P58)提出基于扩散模型的开放集LiDAR语义分割框架,利用潜扩散模型重建语义特征,以扩散推理慢的代价换取未知物体识别能力。PULSAR-Net(Yoshida et al., 2026, P37)提出基于全波形表示和3D U-Net的LiDAR干扰攻击下点云神经重建方法,直接处理LiDAR波形数据,以波形数据量大与3D卷积计算开销高的代价换取恶意峰值识别精度。DisorientLiDAR(Lao et al., 2025, P4)提出针对LiDAR定位的物理攻击方法,通过远程激光注入干扰LiDAR测量,以攻击实施复杂度换取定位模型鲁棒性评估。
Neural Distribution Prior(Li et al., 2026, P40)提出神经分布先验用于LiDAR分布外检测,学习点级分布先验,以分布建模复杂度的代价换取未知物体识别能力。Ghost-FWL(Ikeda et al., 2026, P36)提出大规模全波形LiDAR数据集用于鬼影检测和去除,包含FWL-MAE掩码自编码器,以数据集存储大与MAE训练复杂度的代价换取鬼影识别精度。De-glaring LiDAR(Gump et al., 2026, P45)提出瞬态域LiDAR眩光去除方法,利用线性光学扩展模型和瞬态特性,以模型参数需校准的代价换取传感器数据质量提升。这些方法共同表明,安全防御正从算法层向传感器物理层下沉。
2.7 多模态融合与超分
多模态融合与超分旨在结合相机、雷达等多模态数据提升LiDAR感知性能,其方法演进从单一模态增强向多模态语义接地、从静态重建向动态场景适应扩展。TriFusion-AE(Neogi, 2025, P6)提出语言引导的深度和LiDAR融合自编码器,融合LiDAR点云、多视图深度图和文本描述,以多模态对齐复杂度的代价换取语义接地和空间一致重建。Fast Attention-Based Simplification(Rozsa et al., 2026, P33)提出基于快速注意力的LiDAR点云简化方法,利用Transformer自注意力机制建模点间几何关系,以注意力计算复杂度的代价换取实时性提升。
LiLa-Net(Resino et al., 2025, P9)提出轻量级潜变量LiDAR自编码器,通过编码提取紧凑潜变量,以潜变量可能丢失细节的代价换取计算和内存需求降低。Geometry-Aware Cross Modal Alignment(Luo et al., 2025, P11)提出几何感知跨模态对齐方法用于光场-LiDAR语义分割,以几何对齐复杂度的代价换取遮挡区域分割精度提升。RESOLVE(Ding et al., 2026, P50)提出多分辨率多模态路边协同感知数据集,以数据采集复杂度的代价换取协同感知研究支持。
RaLD(Zhang et al., 2025, P18)提出基于潜变量扩散的高分辨率3D雷达点云生成方法,利用视锥体LiDAR自编码器和顺序不变潜变量编码,以频谱提取复杂度的代价换取生成点云物理一致性。Impact of 2D Segmentation Backbones(Muckelroy et al., 2025, P8)研究2D分割骨干网络对4D雷达点云预测的影响,以骨干选择需实验的代价换取点云生成精度指导。LiDAR-EVS(Huang et al., 2026, P34)提出利用伪LiDAR监督增强外推视图合成的3D高斯泼溅方法,以伪监督生成复杂度的代价换取新视图LiDAR和RGB合成能力。NeuroLiDAR(Rathnayake et al., 2026, P43)融合神经形态事件相机与LiDAR,通过自适应帧率深度感知,以传统LiDAR帧率限制的突破换取动态场景中低能耗、高时间分辨率的深度估计。这些方法共同推动了多模态融合从几何对齐向语义接地与动态适应的演进。
| 方法类别 | 代表方法 | 核心机制 | 优势 | 劣势 | 典型应用场景 |
|---|---|---|---|---|---|
| 语义分割与鲁棒性 | A3POINT, DuNe | 潜在学习、噪声注入、几何感知点丢弃 | 跨天气泛化、噪声鲁棒 | 模型复杂度高、训练开销大 | 恶劣天气感知、跨传感器部署 |
| 场景补全与重建 | LiNeXt, PatchScene | 单步非扩散、补丁体素扩散 | 实时推理、大规模场景效率 | 初始化偏差、补丁融合开销 | 实时感知、遮挡恢复 |
| 数据生成与增强 | LiDARCrafter, OmniLiDAR | 4D世界模型、多域扩散 | 时序一致性、多域覆盖 | 布局构建复杂、生成速度慢 | 闭环仿真、长尾数据增强 |
| 自监督与预训练 | Vernata, HilDA | 多教师蒸馏、层次蒸馏+扩散 | 语义丰富、降低标注依赖 | 投影计算开销、依赖VFM质量 | 下游任务初始化、无标注学习 |
| 定位与建图 | RALoc, MPTF-Net | 旋转感知、多视图金字塔Transformer | 姿态鲁棒、多尺度特征 | 旋转增广数据量大、Transformer开销 | 全局定位、场景识别 |
| 安全与对抗鲁棒 | PULSAR-Net, DOODLE | 全波形重建、扩散OOD检测 | 传感器层防御、未知物体识别 | 波形数据量大、扩散推理慢 | 物理攻击防御、开放世界安全 |
| 多模态融合与超分 | TriFusion-AE, NeuroLiDAR | 三模态融合、事件-LiDAR融合 | 语义接地、动态适应 | 多模态对齐复杂、帧率限制突破 | 鲁棒重建、动态场景深度估计 |
3. 关键共识、分歧与开放问题
3.1 领域共识
Range-view投影作为平衡计算效率与精度的有效手段,在语义分割与超分辨率任务中达成高度共识。这一共识源于SqueezeSeg(2018)开创的投影式高效处理路线,经RangeNet++(2019)和Cylinder3D(2023)的持续优化,约15篇论文共同支持其在车载实时性要求下的优势。视觉基础模型通过跨模态蒸馏能显著提升LiDAR表示学习的语义丰富度,减少标注依赖,这一共识在Vernata(2026)和HilDA(2026)等工作中得到验证,约8篇论文共同支持其在降低三维标注成本方面的有效性。扩散模型在LiDAR场景补全与数据生成中表现出优于GAN的稳定性与保真度,是解决数据稀缺的主流方案,这一共识源于LiDiff(2022)的开创性工作,经LiDARCrafter(2025)和OmniLiDAR(2026)的扩展,约10篇论文共同支持其在长尾场景生成中的优势。
与此相关的另一个共识是域泛化与域适应是解决跨传感器、跨天气部署问题的核心方向,需显式建模几何或语义一致性。A3POINT(2026)和Source-Only Cross-Weather LiDAR(2025)等工作通过几何感知点丢弃和潜在学习策略,约12篇论文共同支持显式建模分布偏移机制在提升鲁棒性方面的必要性。自监督预训练为下游任务提供了强大的初始化,优于随机初始化或纯监督微调,这一共识在Vernata(2026)和TOLiD(2026)等工作中得到验证,约6篇论文共同支持其在降低标注依赖方面的有效性。LiDAR点云的稀疏性与不规则性是主要挑战,需结合局部几何特征与全局上下文建模,这一共识贯穿整个领域,约10篇论文共同支持多尺度特征融合在提升感知精度方面的必要性。多模态融合能互补几何与语义信息,提升感知鲁棒性,但需解决模态对齐问题,这一共识在TriFusion-AE(2025)和NeuroLiDAR(2026)等工作中得到验证,约7篇论文共同支持其在恶劣环境下的优势。物理仿真是生成多样化训练数据的关键,但需解决仿真与现实间的域差距,这一共识在rareboost3d(2025)和LiDARCrafter(2025)等工作中得到验证,约5篇论文共同支持其在长尾数据增强方面的潜力。
3.2 观点分歧
扩散模型在实时LiDAR补全中的适用性存在显著分歧。观点A认为扩散模型(如LiDiff, PointDiffusion)生成质量高,能捕捉几何歧义,是补全的金标准;观点B认为单步/流匹配方法(如LiNeXt, LiFlow)推理速度快,适合实时场景,且精度差距在缩小。现有证据偏向观点B在实时场景的优势,LiNeXt在SemanticKITTI上取得0.06 m²的Chamfer Distance,较LiDiff的0.12 m²提升50%,且推理速度显著更快。但在复杂遮挡结构恢复上,扩散模型仍略优,PointDiffusion的模块化架构在灵活性方面具有优势。这一分歧的背后,是另一个更根本的争论:自监督预训练的最优任务设计是纯3D还是跨模态蒸馏。观点A认为纯3D自监督(如掩码重建)能学习鲁棒的几何表示,无模态偏差;观点B认为跨模态蒸馏(如Vernata, HilDA)利用2D语义先验,下游语义任务性能更优。在语义分割任务上,观点B证据更强,Vernata等显著提升mIoU。但在几何敏感任务(如定位、建图)上,观点A可能更稳健,RALoc(2025)通过旋转不变特征学习在定位任务中表现优异。决定性实验需在极端稀疏动态场景下的实时性与精度联合评测,以及在几何密集且语义稀疏场景中的下游定位精度对比。
OOD检测的机制也存在分歧:能量/密度方法(如REL, NDP)计算高效,适合实时检测;生成式重建方法(如DOODLE)能捕捉更复杂的分布差异,检测更准确。在STU数据集上,NDP(0.92 AUROC)略优于DOODLE(0.88 AUROC),但DOODLE在复杂背景下的假阳性率更低。这一分歧源于对计算效率与检测精度之间权衡的不同理解,现有证据无法在开放世界复杂场景中做出最终判定,因为OOD定义模糊(是未知类别还是未知实例?),且缺乏大规模、多样化的真实OOD基准,导致评测结果对数据集敏感。
3.3 其他开放问题
最紧迫的工程问题是实时性与计算效率优化。高精度3D卷积或Transformer架构计算量大,难以满足车载嵌入式实时需求。关键困难在于如何在保持精度的同时降低推理延迟,研究路径包括稀疏卷积优化、频域处理、轻量级网络设计、模型压缩及硬件加速。HARP-NeXt(2025)通过优化预处理工作流和轻量级骨干网络,为移动自主平台提供了实时LiDAR分割方案,但预处理优化依赖于特定硬件架构,通用性受限。
最根本的研究问题是开放世界OOD检测与物理攻击防御。LiDAR数据类别不平衡及OOD样本缺乏,导致模型对危险未知对象产生过度自信的错误预测。关键困难在于LiDAR点云的稀疏性与不规则性使得OOD样本难以精确建模,研究路径包括基于扩散模型的OOD分数估计、证据深度学习、相对能量学习及几何感知的异常合成。PULSAR-Net(2026)通过全波形表示实现LiDAR干扰攻击下的点云神经重建,但波形数据量大且处理复杂度高,需专用硬件支持。Sim2Real域差距弥合也是关键研究问题,模拟LiDAR数据与真实数据在传感器噪声、反射率及物理特性上的差异难以完全复现,潜在路径包括基于物理信息的生成模型、全波形数据建模及跨域特征对齐技术。
已知—争议—未知认知图谱显示:Range-view投影有效性和VFM蒸馏增益是已知共识;扩散模型实时适用性和自监督任务设计是争议焦点;OOD检测泛化性、物理攻击防御机制及Sim2Real域差距本质是未知领域。发展趋势表明,领域正从单一算法优化向系统级鲁棒性构建演进,未来突破需依赖全波形数据利用、物理信息生成模型及统一的多模态基础模型,而非单一算法优化。
4. 总结与展望
LiDAR点云感知领域的核心矛盾已从计算效率转向数据稀缺与分布偏移,这一转变源于自动驾驶从封闭测试场走向开放复杂环境的现实需求。早期研究通过Range-view投影解决无序点云的并行处理效率问题,随后引入域泛化与半监督学习应对恶劣天气与标注成本挑战,当前则通过视觉基础模型蒸馏与扩散模型生成构建开放世界感知能力。核心瓶颈在于如何在有限资源与开放世界约束下实现鲁棒感知,具体表现为Sim2Real域差距、恶劣天气鲁棒性、实时性与计算效率、自监督预训练任务设计、开放世界OOD检测、多模态融合对齐、4D时序一致性及对抗鲁棒性等八个维度的挑战。这些挑战相互耦合,要求感知系统具备几何一致性、语义丰富度及实时性的综合平衡能力。
未来可能突破的方向包括:基于全波形的安全感知与物理攻击防御,PULSAR-Net(2026)和Ghost-FWL(2026)共同指向传感器物理层防御的必要性,通过捕捉时间维度信息提升鬼影、干扰等物理攻击的识别精度;4D时序一致的世界模型,LiSTAR(2025)和LiDARCrafter(2025)共同指向动态场景生成与闭环仿真的需求,通过射线中心表示和语言可控生成实现时空一致的LiDAR序列合成;统一的多模态基础模型,Vernata(2026)和HilDA(2026)共同指向跨模态蒸馏在降低标注依赖方面的潜力,通过整合多个视觉模型的语义线索提升LiDAR点表示的语义丰富性。对进入者最值得做的一件事是:在统一骨干与统一预训练条件下,构建覆盖恶劣天气、物理攻击及跨传感器异构场景的标准化评测基准,以解决当前SOTA结果在真实部署中有效性存疑的问题,为领域提供公平比较的基础设施。
以上为节选,完整内容见ArxivReview