极端天气下的目标检测与测距算法

简介: 极端天气下的目标检测与测距算法

代码获取:代码


本文主要工作:

科技的发展与进步促使自动驾驶车辆逐渐成为全球汽车产业发展的重要战略 方向。但自动驾驶车辆面对如:大雨、大雾、大雪等极端环境时,智能汽车图像 采集与处理系统将面临巨大挑战。并且自动驾驶需要实时关注周围物体的威胁, 实时进行目标检测以及精确测量周围目标的距离是提高汽车安全性的可行之策。 本文首先训练出一种天气分类模型,实时识别当下天气情况。其次针对不同天气 情况则采取不同的图像去噪方法来提高图像质量。天气前处理完成后将采取改进 的 Yolo 模型对前方行人、车辆等道路环境目标进行目标检测。最后对目标检测定 位到的物体采用改进目标点的测距方法进行距离测量,为自动驾驶主动安全行为 提供支持。

总结:本文完成了去雾、去雨、去雪,目标检测与车辆距离测量。运用了yoloV3目标检测,单目测距,prescan仿真。本文代码分享与论文撰写相关的同学可以一起交流。如果对你有用,欢迎私聊点赞交流–

本人已做项目清单:

c4ab9a473c8cc5741485d0c80310543f_4a968f6037bd41a89d841d90834d4312.png接下来进入正文,准备发车----------->


1.天气分类


为了实时识别出当下的天气情况,利用卷积神经网络搭建了天气分类模型。 针对搜集到的天气图像数量少且不具代表性的问题,通过改进 mosaic 和图像合成 手段进行数据增强与扩充。为了提升模型精度,将数据集划分成 6 种大小不同的 批尺寸,改进激活函数并引入模型优化方案。最终将数据集输送到天气分类模型 训练后得到了良好的权重系数。该模型可以对实时出现的晴天、雨天、雾天、雪 天四种天气进行识别分类,分类精确度可达 93.46%。


mosic天空区域图像增强:

69edcbdac8891c2b6db4b8f71c3f5eac_watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAQUxpTGlMaVlh,size_20,color_FFFFFF,t_70,g_se,x_16#pic_center.png


数据增强主要代码部分:


def readxml(image_file):
    if image_file.split(".")[1] == 'png':
        xml_path = os.path.join(path_origin_xml, image_file.replace('png', 'xml'))
    else:
        xml_path = os.path.join(path_origin_xml, image_file.replace('jpg', 'xml'))
    root = ET.parse(xml_path).getroot()
    bb = []
    for obj in root.iter('object'):  # 获取object节点中的name子节点
        bbox = obj.find('bndbox')
        xmin = int(float(bbox.find('xmin').text.strip()))
        ymin = int(float(bbox.find('ymin').text.strip()))
        xmax = int(float(bbox.find('xmax').text.strip()))
        ymax = int(float(bbox.find('ymax').text.strip()))
####-----------------非常重要----------------########  下面的1需要修改     具体修改见链接
        bb.append(np.array([xmin, ymin, xmax, ymax, 1]))
    return np.array(bb)
if __name__ == "__main__":
    lines = []
    for filename in os.listdir(os.path.join(image_path, '')):
        if filename.endswith(".jpg") or filename.endswith(".JPG") or filename.endswith(".png"):
            lines.append(filename)
    print(lines)
    list1 = list(range(0,len(lines)))
    print("list1:",list1)


四种天气数据集:**


image.png


天气分类代码部分:


--------------qq1309399183---------------
data_transforms = {
    'train': transforms.Compose([
        transforms.RandomResizedCrop(224),
        transforms.RandomHorizontalFlip(),
        transforms.ToTensor(),
        transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
    ]),
    'val': transforms.Compose([
        transforms.Resize(256),
        transforms.CenterCrop(224),
        transforms.ToTensor(),
        transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])
    ]),
}
data_dir = 'data/weather_data'
image_datasets = {x: datasets.ImageFolder(os.path.join(data_dir, x),
                                          data_transforms[x])
                  for x in ['train', 'val']}
dataloaders = {x: torch.utils.data.DataLoader(image_datasets[x], batch_size=4,
                                             shuffle=True, num_workers=4)
              for x in ['train', 'val']}
dataset_sizes = {x: len(image_datasets[x]) for x in ['train', 'val']}
class_names = image_datasets['train'].classes
device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")


2.极端天气下图像前处理**


(1)去雾*


针对不同的天气则采取不同的图像前处理方法来提升图像质量。雾天天气 时,针对当下求解的透射率会导致去雾结果出现光晕、伪影现象,本文采用加权最小二乘法细化透射率透。针对四叉树法得到的大气光值不精确的问题,改进四叉树法来解决上述问题。将上述得到的透射率和大气光值代入大气散射模型完成去雾处理;下图为去雾前后对比图。

去雾前:

前.png

去雾后:

后.png


去雾关键代码


ef Transmission(src_img):
    temp = np.min(src_img,2)
    r1=1   
    s = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (r1,r1))
    dst = cv2.erode(temp, s)
    h,w=temp.shape
    window=np.zeros((h,w))
    r=1
    for i in range(r,h-r,1):
        for j in range(r,w-r,1):
            window[i-r:i+r+1,j-r:j+r+1]=dst[i-r:i+r+1,j-r:j+r+1]
            sum_=np.sum(window[i-r:i+r+1,j-r:j+r+1])
            devide=sum_/((2*r+1)*(2*r+1))
            window[i-r:i+r,j-r:j+r]=devide
    darkChannel=cv2.dilate(window,np.ones((r1,r1)))
    darkChannel=(1-darkChannel)*255.0
    return darkChannel


(2)去雨*


面对雨天环境则采取主成分分析方法获取雨线图中雨线噪声的大小和形状信息,并将其与自适应阈值进行比较。当满足条件时,利用一种方法将雨线与之邻近的无雨背景层进行关联来达到去雨目的;

去雨流程图:

image.png


去雨关键代码:


ef pre_mark(I,b,g,r):
    w1=w2=7
    K_Left_Up = np.zeros((2*w1-1, 2*w2-1))
    K_Right_Up = np.zeros((2*w1-1, 2*w2-1))
    K_Center = 1/(w1*w2)*np.ones((w1, w2))
    K_Left_Down =np.zeros((2*w1-1, 2*w2-1))
    K_Right_Down = np.zeros((2*w1-1, 2*w2-1))
    K_Left_Up[0:w1, 0:w2] = 1/(w1*w2)*np.ones((w1, w2))
    # print(K_Left_Up.shape)
    K_Right_Up[0:w1,w2-1:2*w2] = 1/(w1*w2)*np.ones((w1, w2))
    # print(K_Right_Up)
    K_Left_Down[w1-1:2*w1, 0:w2] = 1/(w1*w2)*np.ones((w1, w2))
    K_Right_Down[w1-1:2*w1, w2-1:2*w2] = 1/(w1*w2)*np.ones((w1, w2))
    #LU
    b1=scipy.ndimage.filters.convolve(b, K_Left_Up, mode='nearest')
    g1=scipy.ndimage.filters.convolve(g, K_Left_Up, mode='nearest')
    r1=scipy.ndimage.filters.convolve(r, K_Left_Up, mode='nearest')
    I_LU=cv2.merge((b1,g1,r1))
    #RU
    b2=scipy.ndimage.filters.convolve(b, K_Right_Up, mode='nearest')
    g2=scipy.ndimage.filters.convolve(g, K_Right_Up, mode='nearest')
    r2=scipy.ndimage.filters.convolve(r, K_Right_Up, mode='nearest')
    I_RU=cv2.merge((b2,g2,r2))
    #C
    b3=scipy.ndimage.filters.convolve(b, K_Center, mode='nearest')
    g3=scipy.ndimage.filters.convolve(g, K_Center, mode='nearest')
    r3=scipy.ndimage.filters.convolve(r, K_Center, mode='nearest')
    I_C=cv2.merge((b3,g3,r3))
    #LD
    b4=scipy.ndimage.filters.convolve(b, K_Left_Down, mode='nearest')
    g4=scipy.ndimage.filters.convolve(g, K_Left_Down, mode='nearest')
    r4=scipy.ndimage.filters.convolve(r, K_Left_Down, mode='nearest')
    I_LD=cv2.merge((b4,g4,r4))
    #RD
    b5=scipy.ndimage.filters.convolve(b, K_Right_Down, mode='nearest')
    g5=scipy.ndimage.filters.convolve(g, K_Right_Down, mode='nearest')
    r5=scipy.ndimage.filters.convolve(r, K_Right_Down, mode='nearest')
    I_RD=cv2.merge((b5,g5,r5))


去雨结果:


a6b49e856881089c25926bc5de605bb1_f9c0edc1c1d44f2ebc089ec9375c56c8.png


(3)去雪*


雪天天气 时,本文在去雨算法的基础上引入一种图像处理手段,完成对图像中雪斑的进一步处理。通过与经典算法定性以及定量比较,所提算法在结果中具良好的有效性和优越性。

去雪前后对比图:

雪.png


去雪关键代码:


def refine_mark(I):
    T1=0.04
    T2=0.04
    L,num = measure.label(I, neighbors = None, background = None, return_num = True, connectivity = 2)
    Theta_cluster = []
    for i in range(1,num,1):
        b=np.argwhere(L==i)
        h,_=b.shape
        c=b-np.mean(b,0)
        c_T=c.T


3.目标检测**


在图像处理后加入目标检测,提高了目标检测精度以及目标数量。

下图展现了雾天处理后的结果

图第一列为雾霾图像,第二列为没有加入图像处理的目标检测结果图,第三列为去雾后的目标检测结果图。


前处理前后目标检测效果对比


6fb40a69ef0d3b1a837e329de9f4346d_watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBAQUxpTGlMaVlh,size_13,color_FFFFFF,t_70,g_se,x_16#pic_center.png


4.测距研究**


为了得到距离,进行了precan仿真验证。并完成10-100m的图像采集,利用测距模型进行测量。在prescan进行了如下操作。


Prescan单目测距仿真研究


418f3cff47c6bd62fe2c37350ba6801a_f11757d07de34d659b9137bcb33facba.png

上图采集到的目标框将可以用于自己模型的计算验证。


精确的对目标进行测距可以提高汽车安全性能。为了测量出目标检测得到的物体距离,本文首先完成了世界坐标到图像坐标系的公式推导,标定了相机内外参数。针对当下侧向物体测距时测量精确度不高的问题,进行了改进。得到了以下结果:

478ec98bb498fd4ca3d01d0171c61e50_f8d2beb42e43456799be5217e4410c88.png


5 总结


code:-----qq 1309399183----


本文完成了去雾、去雨、去雪,目标检测与车辆距离测量。运用了yoloV3目标检测,单目测距,prescan仿真。

#需要代码分享与论文撰写相关的同学可以一起交流。如果对你有用,欢迎私聊点赞交流–


目录
打赏
0
0
0
0
41
分享
相关文章
基于GRU网络的MQAM调制信号检测算法matlab仿真,对比LSTM
本研究基于MATLAB 2022a,使用GRU网络对QAM调制信号进行检测。QAM是一种高效调制技术,广泛应用于现代通信系统。传统方法在复杂环境下性能下降,而GRU通过门控机制有效提取时间序列特征,实现16QAM、32QAM、64QAM、128QAM的准确检测。仿真结果显示,GRU在低SNR下表现优异,且训练速度快,参数少。核心程序包括模型预测、误检率和漏检率计算,并绘制准确率图。
84 65
基于GRU网络的MQAM调制信号检测算法matlab仿真,对比LSTM
基于MSER和HOG特征提取的SVM交通标志检测和识别算法matlab仿真
### 算法简介 1. **算法运行效果图预览**:展示算法效果,完整程序运行后无水印。 2. **算法运行软件版本**:Matlab 2017b。 3. **部分核心程序**:完整版代码包含中文注释及操作步骤视频。 4. **算法理论概述**: - **MSER**:用于检测显著区域,提取图像中稳定区域,适用于光照变化下的交通标志检测。 - **HOG特征提取**:通过计算图像小区域的梯度直方图捕捉局部纹理信息,用于物体检测。 - **SVM**:寻找最大化间隔的超平面以分类样本。 整个算法流程图见下图。
基于深度学习的路面裂缝检测算法matlab仿真
本项目基于YOLOv2算法实现高效的路面裂缝检测,使用Matlab 2022a开发。完整程序运行效果无水印,核心代码配有详细中文注释及操作视频。通过深度学习技术,将目标检测转化为回归问题,直接预测裂缝位置和类别,大幅提升检测效率与准确性。适用于实时检测任务,确保道路安全维护。 简介涵盖了算法理论、数据集准备、网络训练及检测过程,采用Darknet-19卷积神经网络结构,结合随机梯度下降算法进行训练。
基于反光衣和检测算法的应用探索
本文探讨了利用机器学习和计算机视觉技术进行反光衣检测的方法,涵盖图像预处理、目标检测与分类、特征提取等关键技术。通过YOLOv5等模型的训练与优化,展示了实现高效反光衣识别的完整流程,旨在提升智能检测系统的性能,应用于交通安全、工地监控等领域。
基于三帧差算法的运动目标检测系统FPGA实现,包含testbench和MATLAB辅助验证程序
本项目展示了基于FPGA与MATLAB实现的三帧差算法运动目标检测。使用Vivado 2019.2和MATLAB 2022a开发环境,通过对比连续三帧图像的像素值变化,有效识别运动区域。项目包括完整无水印的运行效果预览、详细中文注释的代码及操作步骤视频,适合学习和研究。
测试专项笔记(一): 通过算法能力接口返回的检测结果完成相关指标的计算(目标检测)
这篇文章是关于如何通过算法接口返回的目标检测结果来计算性能指标的笔记。它涵盖了任务描述、指标分析(包括TP、FP、FN、TN、精准率和召回率),接口处理,数据集处理,以及如何使用实用工具进行文件操作和数据可视化。文章还提供了一些Python代码示例,用于处理图像文件、转换数据格式以及计算目标检测的性能指标。
118 0
测试专项笔记(一): 通过算法能力接口返回的检测结果完成相关指标的计算(目标检测)
分别使用OVP-UVP和OFP-UFP算法以及AFD检测算法实现反孤岛检测simulink建模与仿真
本课题通过Simulink建模与仿真,实现OVP-UVP、OFP-UFP算法及AFD检测算法的反孤岛检测。OVP-UVP基于电压幅值变化,OFP-UFP基于频率变化,而AFD则通过注入频率偏移信号来检测孤岛效应,确保电力系统安全稳定运行。系统使用MATLAB 2013b进行建模与仿真验证。
基于GA-PSO-SVM算法的混沌背景下微弱信号检测matlab仿真
本项目基于MATLAB 2022a,展示了SVM、PSO、GA-PSO-SVM在混沌背景下微弱信号检测中的性能对比。核心程序包含详细中文注释和操作步骤视频。GA-PSO-SVM算法通过遗传算法和粒子群优化算法优化SVM参数,提高信号检测的准确性和鲁棒性,尤其适用于低信噪比环境。
|
4月前
|
TDengine 检测数据最佳压缩算法工具,助你一键找出最优压缩方案
在使用 TDengine 存储时序数据时,压缩数据以节省磁盘空间是至关重要的。TDengine 支持用户根据自身数据特性灵活指定压缩算法,从而实现更高效的存储。然而,如何选择最合适的压缩算法,才能最大限度地降低存储开销?为了解决这一问题,我们特别推出了一个实用工具,帮助用户快速判断并选择最适合其数据特征的压缩算法。
98 0
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等