基于 YOLO11 的海底垃圾视觉巡检系统：水下 ROV + Streamlit 全流程实战
关键词：YOLO11、海底垃圾、水下视觉、海洋治理、Streamlit、目标检测
一、背景
1.1 行业痛点
近海与离岸海域的底质环境正在被持续侵扰：废弃口罩、易拉罐、玻璃瓶、塑料瓶、渔网、废旧轮胎……这些垃圾长期沉积在海底，会缠绕海洋生物、释放微塑料、破坏珊瑚礁与海草床生态，对海洋牧场、近海渔业与潜水旅游业的影响是全链路的。
传统的海底垃圾排查依赖潜水员目视巡查或 ROV 视频后处理：
- 效率低：一个潜水员单次下潜作业时长 30~45 min，一次只能覆盖几百平米；
- 人眼疲劳：浑浊水体下颜色失真、对比度低，潜水员长时间盯着回放视频极易漏检；
- 数据无法量化：拍了一堆视频，但具体哪个区域有多少口罩 / 渔网，缺乏可统计的结构化结果，给后续清污作业排程造成困难。
把 YOLO11 这类轻量级 目标检测模型 接到 ROV、拖曳成像系统或潜水员手持相机的视频流后端，可以把"看视频找垃圾"这件事变成"模型逐帧自动标注 + 人工复核疑难"，效率提升一个数量级，并且每一次推理都能沉淀为结构化的统计数据，直接喂给海洋治理调度平台。
本文介绍的项目就是这条路线下的一个完整落点：面向 15 类典型海底垃圾的 YOLO11 检测模型 + 一个开箱即用的 Streamlit 可视化界面。
视频演示与源码 下载
包含： 📦完整项目源码 📦 预训练 模型权重
🗂️数据集
1.2 项目运行效果
1.3 项目介绍
核心创新点：
| 维度 | 设计 |
|---|---|
| 类目覆盖 | 15 类典型海底垃圾，覆盖塑料 / 金属 / 玻璃 / 医疗废弃 / 渔具等 |
| 模型选型 | YOLO11n，6 MB 权重，CPU 实时、Apple Silicon MPS / NVIDIA CUDA 可选加速 |
| 部署形态 | Streamlit 单页应用 + 本地 best.pt，零数据库，便于离线部署在科考船 / ROV 控制台 |
| 输入兼容 | 图片 / 批量图片 / 视频 / 摄像头四种输入，全部走同一推理引擎 |
| 适配场景 | 浑浊低光海底、绿色调畸变水体、沉积泥沙背景下仍能稳定出框 |
功能概览：
- 🖼️ 单图检测：上传海底拍摄的图片 → 实时返回带框图 + 类别 / 置信度明细
- 📚 批量检测：单次最多 200 张，输出汇总表 + 类别分布柱状图 + 检测结果 zip 下载
- 🎬 视频检测：mp4 / avi / mov / mkv 通通可读，逐帧推理后落盘新视频
- 📷 摄像头实时检测：可对接 ROV 直出视频流，做现场作业辅助
15 个识别类别：口罩、易拉罐、手机、电子垃圾、玻璃瓶、手套、金属杂物、杂项垃圾、渔网、塑料袋、塑料瓶、塑料杂物、杆状物、太阳镜、废旧轮胎。
技术栈：
| 层 | 选型 |
|---|---|
| 模型框架 | Ultralytics 8.3 + PyTorch |
| 视觉算法 | YOLO11n（Anchor-Free，C2f Backbone，Decoupled Head + DFL） |
| Web 前端 | Streamlit 1.35 + 自定义 HTML 主题（海洋蓝 + 警戒黄） |
| 视频 / 图像 | OpenCV、imageio-ffmpeg |
| 数据可视化 | Plotly / Streamlit 原生 chart |
| 配置管理 | 单一 configs/project.yaml，行业话术 / UI / 推理阈值统一收口 |
二、设计框架
2.1 系统 架构
┌──────────────────────────────────────────┐
│ Streamlit Web 前端（单页 SPA） │
│ · 海底巡检台 / 单图 / 批量 / 视频 / 摄像头 │
│ · 侧栏 · 阈值 · 类别筛选 · 模型缓存 │
└────────────────────┬─────────────────────┘
│ Python 调用
▼
┌──────────────────────────────────────────┐
│ 推理服务层（infer_image_path 等） │
│ · bytes / Path / frame → tensor │
│ · 推理结果 → 标注图 + DataFrame │
└────────────────────┬─────────────────────┘
│
▼
┌──────────────────────────────────────────┐
│ YOLO11n 推理引擎（model/best.pt） │
│ Backbone (C2f+SPPF) → Neck (FPN/PAN) │
│ → Decoupled Head（DFL + cls） │
└──────────────────────────────────────────┘
2.2 YOLO11 网络结构
输入 640×640×3
│
▼
[Backbone]
Conv → C2f → Conv → C2f → Conv → C2f → Conv → C2f → SPPF
多尺度卷积 + 跨阶段特征融合
│
▼
[Neck] FPN 上采样 + PAN 下采样：P3 / P4 / P5 三级金字塔
│
▼
[Head] Decoupled Head（cls 头 / reg 头解耦）
回归头采用 DFL（Distribution Focal Loss）
Anchor-Free，输出 (cx, cy, w, h, cls × 15)
│
▼
[NMS] iou=0.7, conf=0.25 → 最终检测框
2.3 检测流程
水下图像 / ROV 视频帧
│
▼
Letterbox 640×640 + RGB
│
▼
YOLO11n forward
│
▼
Detect Head 输出
│
▼
conf 过滤 + NMS
│
▼
result.plot() 画框 + DataFrame 列出明细
│
▼
Streamlit 双列展示 + 表格 + 类别分布图
三、代码结构（核心 50 行 + 解析）
项目目录：
海底垃圾视觉巡检/
├── app/streamlit_app.py # Web 入口
├── configs/project.yaml # 行业话术 / UI / 训练 / 推理参数
├── model/best.pt # 训练好的 YOLO11n 权重
├── scripts/ # train / validate / export 等
├── data/dataset/ # 训练 / 验证 / 测试集
└── 15类海底垃圾检测数据集/ # 原始数据集（含数据集描述.txt）
最核心的 50 行——模型加载 + 单图推理 + Streamlit 单图 Tab：
# === 1. 模型加载（带 streamlit 资源缓存，避免每次刷新重载）=============
@st.cache_resource(show_spinner=False)
def load_model(model_path: str) -> YOLO:
return YOLO(model_path)
# === 2. 单图推理：路径 → 标注图 + 检测明细 DataFrame ===================
def infer_image_path(model: YOLO, image_path: Path, conf: float):
result = model.predict(str(image_path), conf=conf, verbose=False)[0]
annotated = result.plot() # BGR ndarray，已画框
rows = []
if result.boxes is not None:
for box in result.boxes:
cls_id = int(box.cls.item())
x1, y1, x2, y2 = [float(v) for v in box.xyxy[0].tolist()]
rows.append({
"class_id": cls_id,
"class_name": result.names[cls_id],
"confidence": round(float(box.conf.item()), 4),
"x1": round(x1, 1), "y1": round(y1, 1),
"x2": round(x2, 1), "y2": round(y2, 1),
})
# BGR → RGB 给 Streamlit；rows 转 DataFrame 给表格组件
return annotated[:, :, ::-1], pd.DataFrame(rows)
# === 3. bytes → 临时文件 → 复用同一函数 ================================
def run_image_inference(model: YOLO, image_bytes: bytes, conf: float, suffix=".jpg"):
with tempfile.NamedTemporaryFile(delete=False, suffix=suffix) as f:
f.write(image_bytes); tmp = Path(f.name)
try:
return infer_image_path(model, tmp, conf)
finally:
tmp.unlink(missing_ok=True)
# === 4. Streamlit 单图 Tab：上传 → 推理 → 双列展示 =====================
model = load_model(str(MODEL_PATH))
uploaded = st.file_uploader("上传水下图片", type=IMAGE_UPLOAD_TYPES)
conf = st.sidebar.slider("置信度阈值", 0.05, 0.95, DEFAULT_CONF, 0.01)
if uploaded is not None:
annotated, df = run_image_inference(model, uploaded.getvalue(), conf,
suffix=Path(uploaded.name).suffix)
col1, col2 = st.columns(2)
col1.image(uploaded, caption="原图")
col2.image(annotated, caption="检测结果")
st.dataframe(detections_to_display(df))
render_detection_analysis(df)
5 段解析：
@st.cache_resource把YOLO(model_path)的耗时（首次约 2~3 s）锁在第一次访问，之后所有 session 共享同一份模型实例，避免每次切换 Tab 都重载。result.plot()直接返回带颜色框 + 类别 + 置信度的BGR ndarray，省去手写 cv2.rectangle 的繁琐。- 把每个
box的cls / conf / xyxy拍成dict，再拼成DataFrame——后续表格、CSV 下载、分类柱状图全部复用同一份结构。 run_image_inference走临时文件而非 numpy 数组，是为了让 Ultralytics 内部的 EXIF / orientation 处理逻辑生效，对水下相机、运动相机的旋转图片更稳；finally删除临时文件避免磁盘泄漏。- Streamlit 的
cache_resource + file_uploader + dataframe组合，让一个产品级海底巡检页面只需 11 行代码——这就是用 Streamlit 做 AI 应用能快速出活的关键。
四、训练效果
模型在 15 类海底垃圾数据集上完成训练并保存 best.pt，在测试集上检测效果良好，可稳定识别口罩、易拉罐、玻璃瓶、塑料瓶、渔网、废旧轮胎等典型海底垃圾，已能满足海洋牧场清污辅助、港口底质排查、环保科考等场景的初筛感知使用需要。
从单图检测样例（上文「项目运行效果」中的截图）可以看到：在浑浊绿色调水体、低对比度沉积背景下，模型仍能稳定圈出口罩、塑料袋等目标，并给出较高的置信度，在批量分析模块中可以汇总成可统计的"类别 → 数量"分布，直接对接清污作业排程。
五、项目总结
做对了什么：
- 用一份
project.yaml把"行业话术 / UI 主题色 / 训练超参 / 推理阈值"全部收口，迁移到其他水下场景（如河道漂浮物、港口浮油）只需改这一个文件； - 单图、批量、视频、摄像头四种输入复用同一个
infer_image_path，后期接 ROV 直出视频流时只需把"摄像头帧"喂进来即可； - 选择 YOLO11n 而非 v8s/v8m，模型 6 MB、CPU 单图 100 ms 内完成，在科考船的工控机或边缘盒子上都可以离线跑。
还能怎么做：
- 接入 ROV 的 RTSP 视频流，把检测结果（坐标 + 时间戳 + 经纬度）直接写入海洋治理 GIS 平台；
- 增加"垃圾密度热力图"模块，按经纬度网格聚合检测结果，反向指导清污潜水员的下潜路径规划；
- 在数据集层面持续补充深水低光、悬浮颗粒、生物附着等更复杂的场景，进一步提升模型在极端水体下的鲁棒性。
