基于YOLOv8深度学习的无人机视角高精度太阳能电池板检测与分析系统【python源码+Pyqt5界面+数据集+训练代码】深度学习实战、目标分割

简介: 基于YOLOv8深度学习的无人机视角高精度太阳能电池板检测与分析系统【python源码+Pyqt5界面+数据集+训练代码】深度学习实战、目标分割


基本功能演示

无人机视角高精度太阳能电池板检测与分析系统【python源码+YOLOv8+Pyqt5界面+数据集+训练代码】深度学习实战、目标分割

摘要:无人机视角的高精度太阳能电池板检测与分析系统,通过深度学习技术,能够实时对画面中的太阳能电池板进行精确分割,并提供面积比例及尺寸信息,从而掌握电池板的准确分布情况,这对于确保安装精度、评估电池板布局以及监测覆盖面积等方面具有重要意义。本文基于YOLOv8深度学习框架,通过5284张图片,训练了一个进行太阳能电池板目标分割模型,其验证集检测精度为0.974,能够高效准确识别并分割太阳能电池板区域,然后对分割区域进行分析,从而准确计算太阳能电池板所占面积以及长宽等信息。最终基于此模型开发了一款带UI界面的太阳能电池板检测与分析系统,可用于实时检测与分析场景中的太阳能电池板区域,也更加方便的进行功能展示。该系统是基于pythonPyQT5开发的,支持图片、批量图片、视频以及摄像头进行目标检测分割,并保存分割结果。本文提供了完整的Python代码和使用教程,给感兴趣的小伙伴参考学习,完整的代码资源文件获取方式见文末


前言

无人机视角的高精度太阳能电池板检测与分析系统,通过深度学习技术,能够实时对画面中的太阳能电池板进行精确分割,并提供面积比例及尺寸信息,从而掌握电池板的准确分布情况,这对于确保安装精度、评估电池板布局以及监测覆盖面积等方面非常关键,而且对于优化太阳能电站的建设和维护也具有重要意义。随着可再生能源在全球能源结构中的比重不断上升,对太阳能电池板的监测需求日益增加。如果借助无人机搭载的该检测系统,可以在广阔而复杂的地形上快速、高效并准确地执行太阳能电池板检测任务。

其应用场景主要包括:

太阳能电池板布局规划:在新建太阳能电站时,确保电池板按照预定的规划布局正确安装。

施工监测与验收:在电池板安装过程中监测其准确性,与最终设计图比对,确保符合技术要求。

电池板覆盖面积统计:测量太阳能电板覆盖的总面积,对发电能力进行初步估算。

光伏农业管理:监控太阳能电池板与农作物的互相布局,以确保农作物的光照需要。

日常维护与检查:定期监测电池板覆盖率,检测是否有遮挡或不必要的物品占据了电池板空间。

总结来说,太阳能电池板检测与分析系统通过无人机视角为太阳能电站提供了一个高效且高精度的太阳能板检测解决方案。该系统能够为电站的规划、建设和日常维护提供极大的帮助,从而间接地优化了太阳能电池板的性能表现。同时,关于太阳能板的损害识别或性能评估等功能也能够在该系统分割出的太阳能板基础上进行进一步的展开实现。随着无人机技术和深度学习框架的不断进步,这套系统的应用潜力巨大,将在太阳能领域发挥越来越重要的作用。

博主通过搜集无人机高空视角的太阳能电池板的相关数据图片,根据YOLOv8的目标分割技术,基于python与Pyqt5开发了一款界面简洁的太阳能电池板检测与分析系统,可支持图片、视频以及摄像头检测,同时可以将图片、视频以及摄像头的检测结果进行保存本文详细的介绍了此系统的核心功能以及所使用到的技术原理与制作流程。

软件初始界面如下图所示:

检测结果界面如下:

检测结果说明:

分割面积占比:表示所选择分割目标的面积占整张图片的百分比;

置信度:表示所选择分割目标的结果置信度大小;

分割宽度px:表示所选择分割目标的最小外接矩形框的宽度大小,单位为像素px;

分割长度px:表示所选择分割目标的最小外接矩形框的长度大小,单位为像素px;

分割中心点坐标:表示所选择分割目标的最小外接矩形框的中心点坐标信息;

检测框位置:表示所选择分割目标的yolov8检测框坐标信息,框左上角坐标(xmin,ymin),框右下角坐标(xmax,ymax);

表格信息包括:文件路径、目标编号、类别、置信度、检测框位置、分割占比、分割宽度、分割长度、分割中心点坐标。

一、软件核心功能介绍及效果演示

软件主要功能

1. 可实时进行太阳能电池板的检测与分割
2. 可对每个太阳能电池板分割结果进行大小分析,并且显示其最小外接矩形长宽及中心点坐标信息,以像素点为单位;
3. 支持图片、图片批量、视频及摄像头进行检测分割;
4. 可显示总分割面积占比以及单个目标的分割面积占比
5. 界面可实时显示目标位置分割结果分割面积占比分割宽度、长度及中心点坐标置信度用时等信息;
6. 结果保存:支持图片视频摄像头分割及分析结果保存
7. 支持将图片检测及分析信息保存为csv格式文件【注:csv文件保存暂不支持视频与摄像头】

界面参数设置说明

  1. 置信度阈值:也就是目标检测时的conf参数,只有检测出的目标置信度大于该值,结果才会显示;
  2. 交并比阈值:也就是目标检测时的iou参数,只有目标检测框的交并比大于该值,结果才会显示;
  3. 窗口1:显示分割结果:表示是否在检测图片中显示分割结果,默认勾选;
  4. 窗口1:显示检测框与标签:表示是否在检测图片中显示检测框与标签,默认勾选;
  5. 窗口2:显示Mask或者显示原始分割图片:表示在窗口2中显示分割的Mask或者原始图片分割内容
  6. 窗口2:显示分析结果:表示是否在窗口2中显示电池板外接矩形长宽大小及中心点信息

显示Mask效果展示:

显示原始分割图片效果展示:

(1)图片检测演示

1.点击打开图片按钮,选择需要检测的图片,或者点击打开文件夹按钮,选择需要批量检测图片所在的文件夹,操作演示如下:

2.点击目标下拉框后,可以选定指定目标的结果信息进行显示。
3.
点击保存按钮,会对图片检测结果进行保存,存储路径为:save_data目录下。

4.点击表格中的指定行,界面会显示该行表格所写的信息内容。

注:右侧目标位置默认显示置信度最大一个目标位置,可用下拉框进行信息切换。所有检测结果均在表格中显示。

点击保存按钮,会对图片的检测结果进行保存,共会保存3种类型结果,分别是:检测分割结果标识图片、分割的Mask图片以及原图分割后的图片。存储在save_data目录下,保存结果如下:

(2)视频检测演示

1.点击打开视频图标,打开选择需要检测的视频,就会自动显示检测结果。再次点击该按钮,会关闭视频

2.点击保存按钮,会对视频检测结果进行保存,同样会保存3种类型结果,分别是:检测分割结果标识视频、分割Mask视频以及原视频分割后的视频,存储路径为:save_data目录下。

(3)摄像头检测演示

1.点击打开摄像头按钮,可以打开摄像头,可以实时进行检测,再次点击该按钮,可关闭摄像头

2.点击保存按钮,可以进行摄像头实时图像的检测结果保存

摄像头检测保存结果如下:

(4)检测结果保存

点击保存按钮后,会将当前选择的图片【含批量图片】、视频或者摄像头的分割结果进行保存。结果会存储在save_data目录下,其中单张图片或者文件夹批量检测图片会额外将检测信息保存为csv文件,保存内容如下:

图片检测保存的csv文件信息内容如下:

包括:'文件名', '目标编号', '类别', '置信度', '检测框位置','分割占比', '分割宽度','分割长度','分割中心坐标'信息。

二、目标分割模型的训练、评估与推理

1.YOLOv8的基本原理

YOLOv8是一种前沿的目标检测技术,它基于先前YOLO版本在目标检测任务上的成功,进一步提升了性能和灵活性,在精度和速度方面都具有尖端性能。在之前YOLO 版本的基础上,YOLOv8 引入了新的功能和优化,使其成为广泛应用中各种物体检测任务的理想选择。主要的创新点包括一个新的骨干网络、一个新的 Ancher-Free 检测头和一个新的损失函数,可以在从 CPU 到 GPU 的各种硬件平台上运行

YOLO各版本性能对比:

YOLOv8网络结构如下:

2. 数据集准备与训练

通过网络上搜集关于无人机视角的太阳能电池板相关图片,并使用Labelimg标注工具对每张图片中的分割结果及类别进行标注。一共包含5284张图片,其中训练集包含4239张图片验证集包含555张图片测试集包含490张图片部分图像及标注如下图所示。

数据集的具体分布如下所示:

图片数据的存放格式如下,在项目目录中新建datasets目录,同时将检测的图片分为训练集、验证集、测试集放入Data目录下。

同时我们需要新建一个data.yaml文件,用于存储训练数据的路径及模型需要进行检测的类别。YOLOv8在进行模型训练时,会读取该文件的信息,用于进行模型的训练与验证。data.yaml的具体内容如下:

train: E:\CVProgram\YOLOv8Segment\SolarPanelSeg\datasets\Data\images\train
val: E:\CVProgram\YOLOv8Segment\SolarPanelSeg\datasets\Data\images\valid
test: E:\CVProgram\YOLOv8Segment\SolarPanelSeg\datasets\Data\images\test
nc: 1
names: ['SolarPanel']

注:train与val后面表示需要训练图片的路径,建议直接写自己文件的绝对路径。

数据准备完成后,通过调用train.py文件进行模型训练,epochs参数用于调整训练的轮数,batch参数用于调整训练的批次大小【根据内存大小调整,最小为1】,代码如下:

#coding:utf-8
from ultralytics import YOLO
import matplotlib
matplotlib.use('TkAgg')
if __name__ == '__main__':
    # 训练模型配置文件路径
    yolo_yaml_path = 'ultralytics/cfg/models/v8/yolov8-seg.yaml'
    # 数据集配置文件路径
    data_yaml_path = 'datasets/Data/data.yaml'
    # 官方预训练模型路径
    pre_model_path = "yolov8n-seg.pt"
    # 加载配置文件和预训练模型
    model = YOLO(yolo_yaml_path).load(pre_model_path)
    # 模型训练
    model.train(data=data_yaml_path,
                epochs=150,
                batch=12,
                name='train_v8n')

3. 训练结果评估

在深度学习中,我们通常用损失函数下降的曲线来观察模型训练的情况。YOLOv8在训练时主要包含以下几个方面的损失:定位损失(box_loss)、分类损失(cls_loss)、动态特征损失(dfl_loss)以及分割损失(seg_loss),在训练结束后,可以在runs/目录下找到训练过程及结果文件,如下所示:

各损失函数作用说明:

定位损失box_loss:预测框与标定框之间的误差(GIoU),越小定位得越准;

分类损失cls_loss:计算锚框与对应的标定分类是否正确,越小分类得越准;

动态特征损失(dfl_loss):DFLLoss是一种用于回归预测框与目标框之间距离的损失函数。在计算损失时,目标框需要缩放到特征图尺度,即除以相应的stride,并与预测的边界框计算Ciou Loss,同时与预测的anchors中心点到各边的距离计算回归DFLLoss。这个过程是YOLOv8训练流程中的一部分,通过计算DFLLoss可以更准确地调整预测框的位置,提高目标检测的准确性。

分割损失(seg_loss):预测的分割结果与标定分割之前的误差,越小分割的越准确;

本文训练结果如下:

我们通常用PR曲线来体现精确率和召回率的关系,本文训练结果的PR曲线如下。mAP表示Precision和Recall作为两轴作图后围成的面积,m表示平均,@后面的数表示判定iou为正负样本的阈值。mAP@.5:表示阈值大于0.5的平均mAP。

定位结果的PR曲线如下:

分割结果的PR曲线如下:

从上面图片曲线结果可以看到:定位的平均精度为0.974,分割的平均精度为0.964,结果还是十分不错的。

4. 模型推理

模型训练完成后,我们可以得到一个最佳的训练结果模型best.pt文件,在runs/trian/weights目录下。我们可以使用该文件进行后续的推理检测。

图片检测代码如下:

#coding:utf-8
from ultralytics import YOLO
import cv2
# 所需加载的模型目录
path = 'models/best.pt'
# 需要检测的图片地址
img_path = "TestFiles/panels_Italy_28_jpg.rf.252a2c6d7ee58eddc0e1755db7fd158e.jpg"
# 加载预训练模型
# conf  0.25  object confidence threshold for detection
# iou 0.7 intersection over union (IoU) threshold for NMS
model = YOLO(path, task='segment')
# model = YOLO(path, task='segment',conf=0.5)
# 检测图片
results = model(img_path)
res = results[0].plot()
# res = cv2.resize(res,dsize=None,fx=0.5,fy=0.5,interpolation=cv2.INTER_LINEAR)
cv2.imshow("YOLOv8 Detection", res)
cv2.waitKey(0)

执行上述代码后,会将执行的结果直接标注在图片上,结果如下:

以上便是关于此款太阳能电池板检测与分析系统的原理与代码介绍。基于此模型和分割后的结果分析,博主用pythonPyqt5开发了一个带界面的软件系统,即文中第二部分的演示内容,能够很好的支持图片、视频及摄像头进行检测,同时支持检测结果的保存。

关于该系统涉及到的完整源码、UI界面代码、数据集、训练代码、测试图片视频等相关文件,均已打包上传,感兴趣的小伙伴可以通过下载链接自行获取。


【获取方式】


本文涉及到的完整全部程序文件:包括环境配置文档说明、python源码、数据集、训练代码、UI文件、测试图片视频等(见下图),获取方式见文末:

注意:该代码基于Python3.9开发,运行界面的主程序为MainProgram.py,其他测试脚本说明见上图。为确保程序顺利运行,请按照程序运行说明文档txt配置软件运行所需环境。


相关文章
|
2天前
|
监控 前端开发 API
实战指南:使用Python Flask与WebSocket实现高效的前后端分离实时系统
【7月更文挑战第18天】构建实时Web应用,如聊天室,可借助Python的Flask和WebSocket。安装Flask及Flask-SocketIO库,创建Flask应用,处理WebSocket事件。前端模板通过Socket.IO库连接服务器,发送和接收消息。运行应用,实现实时通信。此示例展现了Flask结合WebSocket实现前后端实时交互的能力。
|
5天前
|
机器学习/深度学习 数据可视化 TensorFlow
使用Python实现深度学习模型:图像语义分割与对象检测
【7月更文挑战第15天】 使用Python实现深度学习模型:图像语义分割与对象检测
12 2
|
5天前
|
监控 网络协议 安全
由于楼层自动化系统的复杂性和多样性,很难给出一个通用的Python代码示例,因为每个系统可能使用不同的硬件、通信协议和软件接口。
由于楼层自动化系统的复杂性和多样性,很难给出一个通用的Python代码示例,因为每个系统可能使用不同的硬件、通信协议和软件接口。
|
5天前
|
存储 关系型数据库 数据库
我将提供一个简化的Python代码示例和详解,以展示如何使用Python和Django框架来构建智能化小区综合物业管理系统的一部分功能。
我将提供一个简化的Python代码示例和详解,以展示如何使用Python和Django框架来构建智能化小区综合物业管理系统的一部分功能。
|
小程序 Python
如何用python做一个简单的输入输出交互界面?
想问下你写的程序怎么分享给别人使用? **直接发代码!**那不会代码的人岂不是得抓瞎 **那做成网站或者微信小程序!**时间成本太高了,更何况服务器又是一笔成本,后期可能还得不断维护
664 0
如何用python做一个简单的输入输出交互界面?
|
11天前
|
安全 Python
告别低效编程!Python线程与进程并发技术详解,让你的代码飞起来!
【7月更文挑战第9天】Python并发编程提升效率:**理解并发与并行,线程借助`threading`模块处理IO密集型任务,受限于GIL;进程用`multiprocessing`实现并行,绕过GIL限制。示例展示线程和进程创建及同步。选择合适模型,注意线程安全,利用多核,优化性能,实现高效并发编程。
26 3
|
13天前
|
开发者 Python
Python元类实战:打造你的专属编程魔法,让代码随心所欲变化
【7月更文挑战第7天】Python的元类是编程的变形师,用于创建类的“类”,赋予代码在构建时的变形能力。
34 1
|
11天前
|
数据采集 大数据 数据安全/隐私保护
Python编程:如何有效等待套接字的读取与关闭
Python网络编程中,套接字事件处理至关重要。利用`selectors`模块和代理IP能增强程序的稳定性和可靠性。代码示例展示了如何通过代理连接目标服务器,注册套接字的读写事件并高效处理。在代理IP配置、连接创建、事件循环及回调函数中,实现了数据收发与连接管理,有效应对网络爬虫或聊天应用的需求,同时保护了真实IP。
Python编程:如何有效等待套接字的读取与关闭
|
2天前
|
Python
告别低效!Python并查集:数据结构界的超级英雄,拯救你的编程人生!
【7月更文挑战第18天】并查集,数据结构超级英雄,用于不相交集合的合并与查询。Python实现包括初始化、查找根节点和合并操作。应用广泛,如社交网络分析、图论问题、集合划分等。示例代码展示了解决岛屿数量问题,统计连通的“1”单元格数。掌握并查集,提升编程效率,解决复杂问题。
16 6
|
1天前
|
存储 开发者 Python
从理论到实践:Python中Trie树与Suffix Tree的完美结合,开启编程新篇章!
【7月更文挑战第19天】在编程实践中,Trie树和Suffix Tree优化了字符串处理。Trie树用于快速拼写检查,如在构建词库后,能高效判断单词是否存在。Suffix Tree则助力文本相似度检测,找寻共同子串。通过Python示例展示了Trie树插入和搜索方法,并指出Suffix Tree虽复杂但能提升性能。结合两者,实现复杂功能,展现数据结构的强大。
16 3