A Survey of Vision-Based Structural Damage Detection Methods |视觉结构损伤检测方法综述

简介: 视觉结构损伤检测旨在利用计算机视觉技术自动化识别桥梁、道路等基础设施的裂缝与剥落缺陷,其核心价值在于克服传统人工巡检效率低、主观性强及高危环境作业难的局限。早期研究依赖手工特征提取,鲁棒性差,随着深度学习在图像分类中的成功,领域在2018年前后进入数据驱动范式,确立了CNN与U-Net的基础架构。当YOLO系列引入实时检测能力后,研究重心从单一裂缝识别扩展到多类型损伤定位,并面临跨域泛化与边缘部署算力的双重约束。近期,基础模型与视觉语言模型的介入,推动任务从像素级分割向语义理解与工程决策演进。各路线在检测速度、分割精度与语义解释之间做出了不同取舍,由此形成当前多元并存的技术格局。

综述原文见 www.arxivreview.com

导读

视觉结构损伤检测旨在利用计算机视觉技术自动化识别桥梁、道路等基础设施的裂缝与剥落缺陷,其核心价值在于克服传统人工巡检效率低、主观性强及高危环境作业难的局限。早期研究依赖手工特征提取,鲁棒性差,随着深度学习在图像分类中的成功,领域在 2018 年前后进入数据驱动范式,确立了 CNN 与 U-Net 的基础架构。当 YOLO 系列引入实时检测能力后,研究重心从单一裂缝识别扩展到多类型损伤定位,并面临跨域泛化与边缘部署算力的双重约束。近期,基础模型与视觉语言模型的介入,推动任务从像素级分割向语义理解与工程决策演进。各路线在检测速度、分割精度与语义解释之间做出了不同取舍,由此形成当前多元并存的技术格局。本综述梳理这条从几何度量到语义决策的因果演进链条,为读者提供一张领域认知地图。全文按问题演化与路线取舍组织,覆盖该领域从奠基到当前的主要工作。

1. 研究背景、问题结构与演进脉络

视觉结构损伤检测的兴起源于结构健康监测(Structural Health Monitoring, SHM)对自动化、客观化评估手段的迫切需求。传统人工巡检不仅效率低下,且受限于检查员的主观经验,在高空、水下等高危环境中更是难以实施。核心问题在于如何从复杂的视觉数据中准确识别并量化裂缝、剥落、钢筋外露等缺陷,从而评估结构完整性。这一目标要求系统不仅具备“看见”缺陷的能力,还需具备“量化”缺陷几何属性(如长度、宽度)及“理解”缺陷工程含义的能力。

问题的形式化通常涉及在有限标注数据下,构建从输入图像 $I$ 到损伤掩码 $M$ 或边界框 $B$ 的映射函数 $f_\theta$。具体而言,对于 $N$ 类损伤的 $K$-shot 场景,模型需从极少量样本中习得新概念,其核心价值在于缓解数据标注成本高企与泛化需求之间的张力。子问题之间存在强依赖关系:数据稀缺是基础瓶颈,制约了模型泛化;泛化能力不足导致细粒度识别难;识别精度与实时性的矛盾阻碍了边缘部署;最终,所有技术路线都受制于“工程量化可靠性”这一终极约束,即像素输出必须能转化为可信的工程测量值。

2018 至 2020 年是领域的奠基期。Cha et al. (2018) 利用深度卷积神经网络进行图像级结构损伤分类,奠定了基于深度学习的自动化损伤检测基础。同期,SDNET2018 数据集的发布解决了早期数据稀缺问题,成为后续裂缝分割与分类算法验证的重要基准。这一阶段的核心假设是“数据充足且分布一致”,研究聚焦于在特定数据集上优化 CNN 与 U-Net 的精度。

2020 至 2023 年,研究重心转向多场景泛化与实时性。YOLO 系列作为单阶段目标检测器的代表,通过端到端预测实现实时缺陷定位,其高效的速度-精度权衡使其成为桥梁、道路巡检中首选的检测架构。RDD2022 等大规模数据集的建立,推动了跨域泛化能力的研究。然而,专用模型在新地区或新材质上性能骤降的问题日益凸显,促使研究者开始关注迁移学习与数据增强策略。

2024 至 2026 年,领域进入“理解与决策”阶段。SAM (Segment Anything Model) 等基础模型的引入,展示了无需特定类别训练即可识别复杂损伤形态的潜力,推动了从“任务特定模型”向“通用基础模型微调”的范式转移。与此同时,视觉语言模型(VLMs)如 InfraGPT 的出现,实现了从缺陷定位到结构化维护建议生成的全流程自动化。当前,领域正致力于解决数据隐私、跨域泛化及工程量化可靠性(如探测概率 PoD)等深层问题,旨在实现从像素级分割到工程级损伤评估的全流程自动化。

如果用一个核心问题概括该领域,那便是:在数据稀缺与计算受限的双重约束下,如何构建具备跨域泛化能力且输出具备工程统计可靠性的视觉感知-决策闭环系统。

2. 方法体系

  • 2018:Cha et al. CNN——利用深度卷积神经网络进行图像级结构损伤分类,奠定自动化检测基础

  • 2020:YOLO系列——单阶段目标检测器,实现实时缺陷定位,成为边缘部署首选

  • 2020:U-Net——引入对称跳跃连接的编码器-解码器架构,实现像素级密集预测

  • 2023:SAM (Segment Anything Model)——零样本分割基础模型,展示通用图像分割潜力

  • 2024:YOLOv11——引入C3k2和C2PSA模块,提升小目标与复杂背景下的检测精度

  • 2025:SKPNet——利用动态蛇形卷积与KAN网络,捕捉裂缝拓扑连续性

  • 2026:CrackGeoFM——多任务裂缝基础模型,联合学习掩码、骨架与不确定性

  • 2026:InfraGPT——端到端VLM框架,实现从缺陷定位到维护建议生成的自动化

这条时间线勾勒了该领域方法演进的代表性节点:从 2018 年的 Cha et al. CNN 奠定该领域方法基线,经 2019 年 xBD Dataset 的推进,到 2026 年的 StructDamage 代表当前前沿。各节点对应的技术路线、取舍与关联,详见后续小节。

2.1 缺陷检测模型

缺陷检测模型以 YOLO 系列为核心,旨在解决实时巡检中的快速定位问题。早期 YOLO 版本虽实现了端到端预测,但在细长裂缝与微小损伤上的召回率较低。StripRFNet(Lin et al., 2025, P4)针对这一短板,引入了条带感受野模块(SRFM)与形状感知模块(SPM),通过定制化的感受野设计增强对裂缝几何形态的表征,牺牲了一定的通用性以换取道路场景下细长目标的检测精度。Saliency-Guided YOLOX(Hebbache et al., 2025, P6)则采用前端增强策略,利用 SmoothGrad 提取显著性图并增强缺陷视觉特征,降低了复杂背景下的假阴性率,其代价是增加了预处理开销且依赖显著性算法的选择。

针对 UAV 边缘部署的算力限制,Robust Lightweight Crack Classification(Li et al., 2026, P15)结合 ResNet18 与 CBAM 注意力模块,并通过定向数据增强模拟运动模糊与低光照,采用 Focal Loss 缓解类别不平衡。该方法以架构简洁性换取了对真实巡检退化模式的鲁棒性。在震后评估场景,YOLOv11 Hybrid Framework(Turer et al., 2025, P5)引入 RuleFusion v2 混合决策机制,结合模型预测与专家规则引擎,以逻辑一致性换取对细微损伤判别的准确性,但规则依赖限制了未知模式的泛化。这些检测路线与分割路线形成互补:检测提供快速定位,为后续精细分析提供 ROI。

2.2 语义分割技术

语义分割技术聚焦于像素级精度与工程量化,以 U-Net 为基石。DeltaSeg(Hernandez Noguera et al., 2026, P13)在 U-Net 基础上引入分层注意力与深度差分注意力(DDA)模块,通过双路径注意力精炼跳跃连接特征,强调边界相关差异,提升了多类缺陷分割的边界精度。其代价是 DDA 模块增加了参数量与计算复杂度。CrackGeoFM(Kyem et al., 2026, P19)作为多任务裂缝基础模型,联合学习掩码、骨架与不确定性,引入拓扑感知损失(如 clDice)保持裂缝连续性,解决了掩码碎片化导致的测量误差问题,以训练复杂度换取了工程测量的可靠性。

针对稀疏点云数据,InfraDiffusion(Jing et al., 2025, P1)利用扩散模型进行零样本深度图恢复,无需配对数据训练,以推理速度换取了对稀疏数据下表面纹理的鲁棒恢复。SAM3-based Bridge Inspection(Yasuno, 2026, P7)则利用 SAM 的零样本分割能力处理高变异性损伤模式,并结合 DBSCAN 补全遗漏区域,展示了基础模型在基础设施巡检中的实用价值,但受限于 SAM 的推理速度。Instance Segmentation for Pavement Distress(Dewick et al., 2026, P17)基于 Mask R-CNN,采用保守数据增强策略保留现场图像真实外观,验证了实例分割在路面病害量化中的适用性。分割路线为检测路线提供了精确的几何量化支持,二者共同构成感知层的核心。

2.3 数据集与基准

数据集与基准是解决数据稀缺与标注不一致问题的关键。StructDamage(Ijaz et al., 2026, P10)整合多个公开数据集并统一标注规范,涵盖裂缝、剥落、腐蚀等多种损伤类型,通过系统性质量控制与相似性子采样缓解类不平衡,为模型泛化能力评估提供了全面基准。RoadBench(WACV 2026, P22)作为首个多模态道路损伤理解基准,将高分辨率道路图像与详细文本描述配对,填补了现有视觉数据集缺乏语义上下文的空白,为训练具备语义推理能力的视觉-语言模型提供了关键资源。

CiF Dataset(Farronato et al., 2026, P16)旨在挑战视觉基础模型在结构损伤分割中的性能,揭示了通用视觉模型在混凝土等单色、平坦表面上的弱点,即依赖纹理而非形状的缺陷。这些基准的建立推动了从“单一数据集验证”向“多场景公平比较”的转变,为后续方法提供了标准化的测试环境。数据集路线为检测与分割路线提供了训练与评估的基础设施,其质量直接决定了模型泛化能力的上限。

2.4 多模态智能评估

多模态智能评估融合计算机视觉与大语言模型,实现从缺陷检测到语义理解与决策支持。InfraGPT(Sheikh Mohamed and Omaisan, 2025, P3)集成 YOLO 检测器与 VLM,实现从缺陷定位到结构化维护建议生成的全流程自动化,以推理延迟换取了巡检的智能化水平。ADPT(Jiang et al., 2025, P2)利用 LVLMs 与语义模式匹配,通过迭代自问自答机制实现零监督的高质量缺陷数据集构建,解决了人工标注成本高、效率低的问题,为下游迁移学习提供了可扩展的数据增强方案。

PhotoBeamSolver(Altamirano-Muñiz, 2026, P11)结合 CV 与 LLM,利用 AI 自动化图像分析与解释,提升了结构安全监测的效率。Hybrid VLM-CV Damage Assessment(Ung et al., 2026, P20)结合 Grounding DINO 与 LVLMs,利用 CV 的空间定位能力与 LVLM 的多模态推理能力互补,解决了 UAV 图像中尺度变化与遮挡问题。多模态路线为检测与分割路线提供了语义解释与决策支持,形成了“感知-量化-决策”的闭环。

2.5 系统部署与评估

系统部署与评估关注视觉损伤检测在真实工程场景中的落地,涵盖隐私保护、数字孪生及可靠性量化。Clustered-DRAPR(Feng et al., 2026, P18)通过动态梯度聚类处理组间结构差异,利用自适应正则化解决组内 Non-IID 问题,实现了多机构数据共享下的隐私保护模型训练,以通信开销换取了数据孤岛问题的解决。Gaussian Splatting Digital Twin(Wang et al., 2026, P9)基于高斯泼溅技术,将 2D 分割结果投影至 3D 模型,实现了损伤的空间上下文理解,提升了灾后评估的直观性。

PoD-based CV Evaluation Framework(Kompanets et al., 2026, P21)将探测概率(PoD)曲线引入 CV 方法评估,量化了相机分辨率与距离对检测性能的影响,为工程可靠性评估提供了统计学依据。Infrastructure-Guided Connectivity-Enhanced Detection(Xiao et al., 2026, P14)利用 GPS 坐标同步机制确定裂缝位置,通过空间先验引导视觉处理,提升了自动化车辆巡检中裂缝检测的效率。系统部署路线为前述技术路线提供了工程落地的保障,确保系统在实际环境中的鲁棒性与可靠性。

3. 关键共识、分歧与开放问题

3.1 领域共识

深度学习在裂缝检测精度与鲁棒性上显著优于传统手工特征方法,这一共识在多个基准上被反复验证:MS-SSE-Net 在 StructDamage 上的 98.53% F1 与 DeltaSeg 在 CSDD 上的 76.75% mIoU 均大幅超越传统基线。与此相关的另一个共识是 YOLO 系列因速度-精度平衡好,成为实时损伤检测的首选架构,但 Transformer 架构在复杂背景理解上更具潜力。数据增强与 Focal Loss 是解决鲁棒性与不平衡问题的标准手段,Robust Lightweight Crack Classification 通过定向增强模拟真实退化模式,有效提升了模型在复杂环境下的表现。

3.2 观点分歧

基础模型与专用微调模型的优劣之争是当前领域的核心分歧。基础模型(如 SAM, CLIP)在零样本或少样本场景下展现出强大的跨域迁移能力,RoadCLIP 在 RoadBench 上的 78.6% Zero-Shot Accuracy 证明了其在数据稀缺场景下的优势。然而,专用微调模型(如 YOLOv11, DeltaSeg)在特定任务上精度更高、推理更快,更适合资源受限的工程部署。现有证据偏向专用模型在“精度-效率”平衡上占优,但基础模型在“数据稀缺”场景下表现更稳。这一分歧的背后,是另一个更根本的争论:目标检测与语义分割谁更适合工程量化。工程界倾向于分割的量化优势,但受限于算力,检测成为主流。多任务学习(如 CrackGeoFM)正在尝试融合两者,但尚未成为标准范式。

3.3 其他开放问题

最紧迫的工程问题是模型轻量化与边缘部署。现有高精度模型(如基于 ViT-L 的 CrackGeoFM)推理速度慢,无法满足无人机和移动设备的实时处理需求,需通过知识蒸馏、结构重参数化等技术优化模型效率。最根本的研究问题是视觉-语言模型在工程决策中的可靠性边界。VLM 生成维护建议的幻觉风险缺乏统计学验证,需构建包含“陷阱”样本的基准,量化 VLM 生成建议的错误率,并与人类专家对比。此外,隐私保护与分布式学习也是亟待解决的问题,联邦学习框架需解决数据异质性和通信效率问题,实现跨地域、跨机构的协作模型训练。已知的是深度学习范式的有效性,争议的是基础模型与专用模型的适用边界,未知的是 VLM 在关键工程决策中的可靠性量化方法。

4. 总结与展望

视觉结构损伤检测已从单纯的计算机视觉任务演变为融合可靠性工程、多模态 AI 与数字孪生的系统工程。核心矛盾在于如何在保持实时性的同时,利用 VLM 与基础模型提升语义理解与跨域泛化能力,并通过 PoD 等指标确保工程决策的可信度。未来可能突破的方向包括:多模态数据融合,扩展数据集并开发多模态融合架构以支持更全面的损伤识别;细粒度损伤量化与拓扑保持,开发多任务学习框架,联合预测掩码、骨架和不确定性,实现更完整的定量损伤表征。对进入者而言,最值得做的一件事是构建统一的跨域泛化基准,量化基础模型与专用模型在未见过的结构类型上的性能差异,为范式选择提供实证依据。

以上为节选,完整内容见ArxivReview

目录
相关文章
|
8天前
|
Linux Go 开发工具
手机上跑 DeepSeek 智能体:开源安卓客户端 DSH Go 安装与使用指南
DSH Go 是一款开源安卓客户端,将 DeepSeek Harness 智能体引擎装进手机:免 Root、免 Termux,一键安装即用;支持本机运行(内置 Ubuntu+Node.js)或远程接管电脑会话;具备插话打断、过程折叠、屏幕操控、端到端加密分享等特色功能,真正实现智能体“口袋化”。
9145 24
|
8天前
|
弹性计算 人工智能 API
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
建议收藏本教程,2026 全年各版本更新随时回来查阅。如果你在搭建过程中遇到任何问题,欢迎结合 阿里云工单系统 提交技术支持请求,或在 阿里云开发者社区 搜索 Codex 相关话题交流。 祝你编码愉快,效率翻倍!
2702 14
|
3天前
|
人工智能 安全 应用服务中间件
NGINX 爆出两处高危漏洞 可导致未经身份验证的远程代码执行
NGINX曝出两个高危漏洞(CVE-2026-123633和CVE-2026-123007),CVSS 9.2分,均属HTTP/2内存安全缺陷,无需认证即可远程执行代码。影响自2015年起的多个版本,静态站点亦受威胁。修复版本为开源版1.30.7/1.31.9。(239字)
1297 0
NGINX 爆出两处高危漏洞 可导致未经身份验证的远程代码执行
|
6天前
|
传感器 安全 区块链
Windows 电脑运行安卓应用教程:开源工具 ApkStart 双击 APK 即装、独立窗口运行
ApkStart 是一款开源Windows工具,让安卓APP像原生软件一样运行:双击APK即安装、生成真实图标、独立窗口启动、开始菜单可搜索。无需传统模拟器,内置QEMU运行时,支持数据互通、ARM兼容与命令行操作。(239字)
|
10天前
|
人工智能 前端开发 API
阿里云Qwen4-Max 大模型详解:定位、特征、能力、适用场景与相对Qwen3-Max差异解析
2026年11月11日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问AI平台Token Plan并接入千问办公、Qoder等入口。该版本聚焦知识理解、世界感知、编程与Agentic四项升级,主打复杂编程、专业办公、前端设计与专业软件操作等真实任务。预览期为11月11日10:00至11月25日24:00,仅支持Token Plan调用,到期后模型标识下线;限时2折、新用户再享5折,最低1折可体验。
|
10天前
|
JSON 前端开发 API
阿里云最新Qwen4-Max大模型介绍:模型定位、特征、能力、适用场景解析
2026 年 11 月 11 日,阿里发布第四代旗舰模型Qwen4-Max预览版,首发千问 AI 平台 Token Plan,并同步接入千问办公、Qoder 等入口。该版本聚焦知识理解、世界感知、编程与 Agentic 四项升级,主打复杂编程、专业办公、前端设计与专业软件操作。预览期至 11 月 25 日 24:00,到期后模型标识下线;限时 2 折、新用户再享 5 折,最低 1 折可体验。
|
23天前
|
Linux 开发工具 iOS开发
Codex保姆级教程(下载+安装+登录+使用,含所有版本,2026最新)
Codex是OpenAI推出的开源AI编程智能体,本地运行,可理解整个代码库,支持自然语言指令改代码、执行命令、跑测试、修Bug,兼容Win/macOS/Linux。(239字)
11159 59
|
4天前
|
人工智能 弹性计算 IDE
Codex超详细入门指南(下载·安装·登录·上手,全版本覆盖,2026最新版)
适合团队落地代码规范,每次提交自动生成评审报告,降低人工CR工作量。同时支持自定义技能脚本,接入团队内部SDK说明文档,让Codex生成符合团队编码规范的代码。Codex三大客户端覆盖本地开发、服务器远程编码、自动化流水线场景,搭配阿里云百炼的Token Plan、Coding Plan,能够低成本搭建稳定可控的AI编码助手。新手建议先从IDE插件入手,熟悉交互逻辑,再尝试CLI版本部署在阿里云ECS,实现云上项目远程编码、批量脚本处理。只要按照步骤完成环境准备、版本选型、密钥对接、项目初始化,就可以把Codex融入日常开发流程,大幅提升代码编写、问题排查、项目重构的效率。
949 0
|
6天前
|
人工智能 弹性计算 开发工具
零成本玩各大模型!DeepSeek Harness dsh-our-free-model 插件,13 个厂商模型直接用
总结一下:装这个插件,你不用注册、不用绑卡、不用填一个 Key,就能在 DeepSeek Harness 里用上 DeepSeek V4.1 Flash、Kimi K3 这一批前沿模型,而且是白嫖的、还不限量。三步搞定:下载插件,复制包含 `package.json` 的插件目录路径,在「添加插件」里粘贴路径安装并重启。无论是在阿里云 ECS 上通过命令行部署的 Web 版,还是本地的 Electron 桌面端,都能顺利跑通,快速搭建一套零成本的免费模型使用环境。
1329 1
|
9天前
|
Linux API iOS开发
【DSH】DeepSeek Harness新手保姆教程(下载+安装+配置+使用,2026最新实测)
DeepSeek Harness(dsh)是DeepSeek AI开源的智能体框架,秉持“一切皆插件”理念,支持读文件、改代码、跑命令、处理表格、联网搜索等操作。免费开源,兼容Windows/macOS/Linux,提供桌面端与网页端,可灵活安装插件扩展能力。