导读
视觉结构损伤检测旨在利用计算机视觉技术自动化识别桥梁、道路等基础设施的裂缝与剥落缺陷,其核心价值在于克服传统人工巡检效率低、主观性强及高危环境作业难的局限。早期研究依赖手工特征提取,鲁棒性差,随着深度学习在图像分类中的成功,领域在 2018 年前后进入数据驱动范式,确立了 CNN 与 U-Net 的基础架构。当 YOLO 系列引入实时检测能力后,研究重心从单一裂缝识别扩展到多类型损伤定位,并面临跨域泛化与边缘部署算力的双重约束。近期,基础模型与视觉语言模型的介入,推动任务从像素级分割向语义理解与工程决策演进。各路线在检测速度、分割精度与语义解释之间做出了不同取舍,由此形成当前多元并存的技术格局。本综述梳理这条从几何度量到语义决策的因果演进链条,为读者提供一张领域认知地图。全文按问题演化与路线取舍组织,覆盖该领域从奠基到当前的主要工作。
1. 研究背景、问题结构与演进脉络
视觉结构损伤检测的兴起源于结构健康监测(Structural Health Monitoring, SHM)对自动化、客观化评估手段的迫切需求。传统人工巡检不仅效率低下,且受限于检查员的主观经验,在高空、水下等高危环境中更是难以实施。核心问题在于如何从复杂的视觉数据中准确识别并量化裂缝、剥落、钢筋外露等缺陷,从而评估结构完整性。这一目标要求系统不仅具备“看见”缺陷的能力,还需具备“量化”缺陷几何属性(如长度、宽度)及“理解”缺陷工程含义的能力。
问题的形式化通常涉及在有限标注数据下,构建从输入图像 $I$ 到损伤掩码 $M$ 或边界框 $B$ 的映射函数 $f_\theta$。具体而言,对于 $N$ 类损伤的 $K$-shot 场景,模型需从极少量样本中习得新概念,其核心价值在于缓解数据标注成本高企与泛化需求之间的张力。子问题之间存在强依赖关系:数据稀缺是基础瓶颈,制约了模型泛化;泛化能力不足导致细粒度识别难;识别精度与实时性的矛盾阻碍了边缘部署;最终,所有技术路线都受制于“工程量化可靠性”这一终极约束,即像素输出必须能转化为可信的工程测量值。
2018 至 2020 年是领域的奠基期。Cha et al. (2018) 利用深度卷积神经网络进行图像级结构损伤分类,奠定了基于深度学习的自动化损伤检测基础。同期,SDNET2018 数据集的发布解决了早期数据稀缺问题,成为后续裂缝分割与分类算法验证的重要基准。这一阶段的核心假设是“数据充足且分布一致”,研究聚焦于在特定数据集上优化 CNN 与 U-Net 的精度。
2020 至 2023 年,研究重心转向多场景泛化与实时性。YOLO 系列作为单阶段目标检测器的代表,通过端到端预测实现实时缺陷定位,其高效的速度-精度权衡使其成为桥梁、道路巡检中首选的检测架构。RDD2022 等大规模数据集的建立,推动了跨域泛化能力的研究。然而,专用模型在新地区或新材质上性能骤降的问题日益凸显,促使研究者开始关注迁移学习与数据增强策略。
2024 至 2026 年,领域进入“理解与决策”阶段。SAM (Segment Anything Model) 等基础模型的引入,展示了无需特定类别训练即可识别复杂损伤形态的潜力,推动了从“任务特定模型”向“通用基础模型微调”的范式转移。与此同时,视觉语言模型(VLMs)如 InfraGPT 的出现,实现了从缺陷定位到结构化维护建议生成的全流程自动化。当前,领域正致力于解决数据隐私、跨域泛化及工程量化可靠性(如探测概率 PoD)等深层问题,旨在实现从像素级分割到工程级损伤评估的全流程自动化。
如果用一个核心问题概括该领域,那便是:在数据稀缺与计算受限的双重约束下,如何构建具备跨域泛化能力且输出具备工程统计可靠性的视觉感知-决策闭环系统。
2. 方法体系
2018:Cha et al. CNN——利用深度卷积神经网络进行图像级结构损伤分类,奠定自动化检测基础
2020:YOLO系列——单阶段目标检测器,实现实时缺陷定位,成为边缘部署首选
2020:U-Net——引入对称跳跃连接的编码器-解码器架构,实现像素级密集预测
2023:SAM (Segment Anything Model)——零样本分割基础模型,展示通用图像分割潜力
2024:YOLOv11——引入C3k2和C2PSA模块,提升小目标与复杂背景下的检测精度
2025:SKPNet——利用动态蛇形卷积与KAN网络,捕捉裂缝拓扑连续性
2026:CrackGeoFM——多任务裂缝基础模型,联合学习掩码、骨架与不确定性
2026:InfraGPT——端到端VLM框架,实现从缺陷定位到维护建议生成的自动化
这条时间线勾勒了该领域方法演进的代表性节点:从 2018 年的 Cha et al. CNN 奠定该领域方法基线,经 2019 年 xBD Dataset 的推进,到 2026 年的 StructDamage 代表当前前沿。各节点对应的技术路线、取舍与关联,详见后续小节。
2.1 缺陷检测模型
缺陷检测模型以 YOLO 系列为核心,旨在解决实时巡检中的快速定位问题。早期 YOLO 版本虽实现了端到端预测,但在细长裂缝与微小损伤上的召回率较低。StripRFNet(Lin et al., 2025, P4)针对这一短板,引入了条带感受野模块(SRFM)与形状感知模块(SPM),通过定制化的感受野设计增强对裂缝几何形态的表征,牺牲了一定的通用性以换取道路场景下细长目标的检测精度。Saliency-Guided YOLOX(Hebbache et al., 2025, P6)则采用前端增强策略,利用 SmoothGrad 提取显著性图并增强缺陷视觉特征,降低了复杂背景下的假阴性率,其代价是增加了预处理开销且依赖显著性算法的选择。
针对 UAV 边缘部署的算力限制,Robust Lightweight Crack Classification(Li et al., 2026, P15)结合 ResNet18 与 CBAM 注意力模块,并通过定向数据增强模拟运动模糊与低光照,采用 Focal Loss 缓解类别不平衡。该方法以架构简洁性换取了对真实巡检退化模式的鲁棒性。在震后评估场景,YOLOv11 Hybrid Framework(Turer et al., 2025, P5)引入 RuleFusion v2 混合决策机制,结合模型预测与专家规则引擎,以逻辑一致性换取对细微损伤判别的准确性,但规则依赖限制了未知模式的泛化。这些检测路线与分割路线形成互补:检测提供快速定位,为后续精细分析提供 ROI。
2.2 语义分割技术
语义分割技术聚焦于像素级精度与工程量化,以 U-Net 为基石。DeltaSeg(Hernandez Noguera et al., 2026, P13)在 U-Net 基础上引入分层注意力与深度差分注意力(DDA)模块,通过双路径注意力精炼跳跃连接特征,强调边界相关差异,提升了多类缺陷分割的边界精度。其代价是 DDA 模块增加了参数量与计算复杂度。CrackGeoFM(Kyem et al., 2026, P19)作为多任务裂缝基础模型,联合学习掩码、骨架与不确定性,引入拓扑感知损失(如 clDice)保持裂缝连续性,解决了掩码碎片化导致的测量误差问题,以训练复杂度换取了工程测量的可靠性。
针对稀疏点云数据,InfraDiffusion(Jing et al., 2025, P1)利用扩散模型进行零样本深度图恢复,无需配对数据训练,以推理速度换取了对稀疏数据下表面纹理的鲁棒恢复。SAM3-based Bridge Inspection(Yasuno, 2026, P7)则利用 SAM 的零样本分割能力处理高变异性损伤模式,并结合 DBSCAN 补全遗漏区域,展示了基础模型在基础设施巡检中的实用价值,但受限于 SAM 的推理速度。Instance Segmentation for Pavement Distress(Dewick et al., 2026, P17)基于 Mask R-CNN,采用保守数据增强策略保留现场图像真实外观,验证了实例分割在路面病害量化中的适用性。分割路线为检测路线提供了精确的几何量化支持,二者共同构成感知层的核心。
2.3 数据集与基准
数据集与基准是解决数据稀缺与标注不一致问题的关键。StructDamage(Ijaz et al., 2026, P10)整合多个公开数据集并统一标注规范,涵盖裂缝、剥落、腐蚀等多种损伤类型,通过系统性质量控制与相似性子采样缓解类不平衡,为模型泛化能力评估提供了全面基准。RoadBench(WACV 2026, P22)作为首个多模态道路损伤理解基准,将高分辨率道路图像与详细文本描述配对,填补了现有视觉数据集缺乏语义上下文的空白,为训练具备语义推理能力的视觉-语言模型提供了关键资源。
CiF Dataset(Farronato et al., 2026, P16)旨在挑战视觉基础模型在结构损伤分割中的性能,揭示了通用视觉模型在混凝土等单色、平坦表面上的弱点,即依赖纹理而非形状的缺陷。这些基准的建立推动了从“单一数据集验证”向“多场景公平比较”的转变,为后续方法提供了标准化的测试环境。数据集路线为检测与分割路线提供了训练与评估的基础设施,其质量直接决定了模型泛化能力的上限。
2.4 多模态智能评估
多模态智能评估融合计算机视觉与大语言模型,实现从缺陷检测到语义理解与决策支持。InfraGPT(Sheikh Mohamed and Omaisan, 2025, P3)集成 YOLO 检测器与 VLM,实现从缺陷定位到结构化维护建议生成的全流程自动化,以推理延迟换取了巡检的智能化水平。ADPT(Jiang et al., 2025, P2)利用 LVLMs 与语义模式匹配,通过迭代自问自答机制实现零监督的高质量缺陷数据集构建,解决了人工标注成本高、效率低的问题,为下游迁移学习提供了可扩展的数据增强方案。
PhotoBeamSolver(Altamirano-Muñiz, 2026, P11)结合 CV 与 LLM,利用 AI 自动化图像分析与解释,提升了结构安全监测的效率。Hybrid VLM-CV Damage Assessment(Ung et al., 2026, P20)结合 Grounding DINO 与 LVLMs,利用 CV 的空间定位能力与 LVLM 的多模态推理能力互补,解决了 UAV 图像中尺度变化与遮挡问题。多模态路线为检测与分割路线提供了语义解释与决策支持,形成了“感知-量化-决策”的闭环。
2.5 系统部署与评估
系统部署与评估关注视觉损伤检测在真实工程场景中的落地,涵盖隐私保护、数字孪生及可靠性量化。Clustered-DRAPR(Feng et al., 2026, P18)通过动态梯度聚类处理组间结构差异,利用自适应正则化解决组内 Non-IID 问题,实现了多机构数据共享下的隐私保护模型训练,以通信开销换取了数据孤岛问题的解决。Gaussian Splatting Digital Twin(Wang et al., 2026, P9)基于高斯泼溅技术,将 2D 分割结果投影至 3D 模型,实现了损伤的空间上下文理解,提升了灾后评估的直观性。
PoD-based CV Evaluation Framework(Kompanets et al., 2026, P21)将探测概率(PoD)曲线引入 CV 方法评估,量化了相机分辨率与距离对检测性能的影响,为工程可靠性评估提供了统计学依据。Infrastructure-Guided Connectivity-Enhanced Detection(Xiao et al., 2026, P14)利用 GPS 坐标同步机制确定裂缝位置,通过空间先验引导视觉处理,提升了自动化车辆巡检中裂缝检测的效率。系统部署路线为前述技术路线提供了工程落地的保障,确保系统在实际环境中的鲁棒性与可靠性。
3. 关键共识、分歧与开放问题
3.1 领域共识
深度学习在裂缝检测精度与鲁棒性上显著优于传统手工特征方法,这一共识在多个基准上被反复验证:MS-SSE-Net 在 StructDamage 上的 98.53% F1 与 DeltaSeg 在 CSDD 上的 76.75% mIoU 均大幅超越传统基线。与此相关的另一个共识是 YOLO 系列因速度-精度平衡好,成为实时损伤检测的首选架构,但 Transformer 架构在复杂背景理解上更具潜力。数据增强与 Focal Loss 是解决鲁棒性与不平衡问题的标准手段,Robust Lightweight Crack Classification 通过定向增强模拟真实退化模式,有效提升了模型在复杂环境下的表现。
3.2 观点分歧
基础模型与专用微调模型的优劣之争是当前领域的核心分歧。基础模型(如 SAM, CLIP)在零样本或少样本场景下展现出强大的跨域迁移能力,RoadCLIP 在 RoadBench 上的 78.6% Zero-Shot Accuracy 证明了其在数据稀缺场景下的优势。然而,专用微调模型(如 YOLOv11, DeltaSeg)在特定任务上精度更高、推理更快,更适合资源受限的工程部署。现有证据偏向专用模型在“精度-效率”平衡上占优,但基础模型在“数据稀缺”场景下表现更稳。这一分歧的背后,是另一个更根本的争论:目标检测与语义分割谁更适合工程量化。工程界倾向于分割的量化优势,但受限于算力,检测成为主流。多任务学习(如 CrackGeoFM)正在尝试融合两者,但尚未成为标准范式。
3.3 其他开放问题
最紧迫的工程问题是模型轻量化与边缘部署。现有高精度模型(如基于 ViT-L 的 CrackGeoFM)推理速度慢,无法满足无人机和移动设备的实时处理需求,需通过知识蒸馏、结构重参数化等技术优化模型效率。最根本的研究问题是视觉-语言模型在工程决策中的可靠性边界。VLM 生成维护建议的幻觉风险缺乏统计学验证,需构建包含“陷阱”样本的基准,量化 VLM 生成建议的错误率,并与人类专家对比。此外,隐私保护与分布式学习也是亟待解决的问题,联邦学习框架需解决数据异质性和通信效率问题,实现跨地域、跨机构的协作模型训练。已知的是深度学习范式的有效性,争议的是基础模型与专用模型的适用边界,未知的是 VLM 在关键工程决策中的可靠性量化方法。
4. 总结与展望
视觉结构损伤检测已从单纯的计算机视觉任务演变为融合可靠性工程、多模态 AI 与数字孪生的系统工程。核心矛盾在于如何在保持实时性的同时,利用 VLM 与基础模型提升语义理解与跨域泛化能力,并通过 PoD 等指标确保工程决策的可信度。未来可能突破的方向包括:多模态数据融合,扩展数据集并开发多模态融合架构以支持更全面的损伤识别;细粒度损伤量化与拓扑保持,开发多任务学习框架,联合预测掩码、骨架和不确定性,实现更完整的定量损伤表征。对进入者而言,最值得做的一件事是构建统一的跨域泛化基准,量化基础模型与专用模型在未见过的结构类型上的性能差异,为范式选择提供实证依据。
以上为节选,完整内容见ArxivReview