基于深度学习的鱼眼图像中的停车位识别和分类(毕业设计+代码)

简介: 基于深度学习的鱼眼图像中的停车位识别和分类(毕业设计+代码)

概述


基于深度学习的鱼眼图像中的停车点检测和分类是为二维物体检测而开发的。我们的工作增强了预测关键点和方框的能力。这在许多场景中很有用,因为对象不能用右上的矩形“紧密”表示。一个这样的例子,道路上的任何标记,由于透视效果,在现实世界中的对象矩形不会在图像中保持矩形,所以关键点检测显得格外重要。鱼眼图像还呈现了观察到这种现象的另一种场景,由于鱼眼宽广的视角,可以扑捉更多画像。

602d567de891d25977362cdb67aaa1f3_5dbe75cfa54448318b77a7d92d654977.png


预知结果


859dfdf354167b46f4a3bc91dab002ad_77d32555e47d4c7ea60f33122776cefe.png


上面的例子显示了一个停车位,它不能用直立的矩形(黄色)来表示。由4个关键点(蓝色)包围的形状表示它更符合要求。


算法过程

在自动驾驶(AD)应用领域中,自动代客泊车(AVP)在机会和采用方面尤其具有吸引力。摄像机是AVP应用中常用的感知传感器之一。在摄像机馈送中,停车点的检测和分类为空闲或占用是关键的。

停车点检测功能在自主操作期间用于定位和操纵到适当的停车位置。停车点检测的主要挑战在于在图像域中将停车点表现为梯形。此外,用于环绕视野或泊车辅助功能的现代相机往往是鱼眼,其中镜头失真会导致现实生活中的直线段和物体看起来弯曲。

提出了一种基于深度学习中对象检测框架的高效像素级停车点实例化和分类方法。该方法使用MobileNet-V1网络架构作为主干卷积神经网络(CNN),并使用改进的单镜头检测器(SSD)作为对象检测元架构,以直接在鱼眼域中执行停车点实例化。


物体检测功能的传统SSD元架构已经创新性地增强,以检测停车点的主要关键点,从而精确地描绘停车点边界。所提出的解决方案对于检测到的包围停车点的矩形盒实**现了0.87mAP,**并且每次检测的四个角点的精度为0.76OKS。


数据集


开发了名为TI_PSD_VD_V3的内部数据集,该数据集具有边界框+其他关键点注释。已经对以下三类进行了注释,

1483fed31df35c7327239e67ee42956e_954196d85a6741bd9bbad7a8b22fcc36.png

f4b701d72b84516647808896da7d67c6_b9eb51a9af1a472e9041de6fb14e2c87.png

1-空停车位

2-占用的停车位

3-车辆


方案


为每个停车点和车辆采集四个角点坐标。注释时保持关键点的顺序。第一和第二个关键点分别是停车点入口的左角和右角。其余角点沿逆时针方向捕捉。对于车辆,第一和第二关键点分别是包围车辆的矩形的地面上最左侧和最右侧的关键点。其他两个关键点是在车辆逆时针方向捕捉的车辆的其他两个角。

Bounding box参数是包围捕获的四个关键点的矩形框。边界框参数不带注释,而是在捕捉关键点后导出。


准确性


TI_PSD_VD_v3数据集的精度低于@IOU阈值=0.6。这是与下面提到的预训练模型相对应的精度。

|类别 |mAP|

|空停车位 |85.48%|

|占用停车位 |75.75%|

|车辆 |67.25%|

|平均AP |76.16%|


代码

#全部代码可加qq1309399183
def train():
    #parses command line args
    args = parse_args()
    #parses args from file
    if args.config_file is not None:
        cfg_from_file(args.config_file)
    if (args.FIX_MODEL_CHECKPOINT):
      args.FIX_MODEL_CHECKPOINT = args.FIX_MODEL_CHECKPOINT.replace(" ", "")
      args.FIX_MODEL_CHECKPOINT = args.FIX_MODEL_CHECKPOINT.replace("=", "")
      cfg.RESUME_CHECKPOINT = args.FIX_MODEL_CHECKPOINT
      cfg.CHECK_PREVIOUS = False
      if (os.path.exists(cfg.RESUME_CHECKPOINT) == False):
          print('Exiting the process as asked model for resuming is not found')
          exit()
    if (args.RESUME_CHECKPOINT):
      cfg.RESUME_CHECKPOINT = args.RESUME_CHECKPOINT
    if (args.LOG_DIR):
      cfg.EXP_DIR = args.LOG_DIR
    cfg.LOG_DIR = cfg.EXP_DIR
    if (args.PHASE):
      cfg.PHASE = []
      cfg.PHASE.append(args.PHASE)
    if (args.EVAL_METHOD):
      cfg.DATASET.EVAL_METHOD = args.EVAL_METHOD
    #for backward compatibility
    if cfg.DATASET.DATASET == 'psd':
      cfg.DATASET.DATASET = 'tiod'
    if cfg.DATASET.BGR_OR_RGB == True:
        #cfg.DATASET.PIXEL_MEANS = (123.68, 116.78, 103.94)
        #cfg.DATASET.PIXEL_MEANS = (123, 117, 104)
        cfg.DATASET.PIXEL_MEANS = (128.0, 128.0, 128.0) # simpler mean subtraction to keep data in int8 after mean subtraction
    print("cfg: ", cfg)
    for phase in cfg.PHASE:
      cfg_dir = cfg.LOG_DIR + '/' + phase + '_cfg/'
      os.makedirs(os.path.dirname(cfg_dir), exist_ok=True)
      shutil.copy(args.config_file, cfg_dir)
    # to making every run consistent # TII
    np.random.seed(100)
    torch.manual_seed(100)
    torch.cuda.manual_seed(100)
    random.seed(100)
    torch.cuda.manual_seed_all(999)
    torch.backends.cudnn.enabled = False
    train_model()
if __name__ == '__main__':
    train()


推理结果 全部代码可私信


2ef7f2d8887c04205197abd100ec4ff1_4398740fed2e4a53ae3fc139459cb5e3.png


相关文章
|
11天前
|
机器学习/深度学习 存储 Serverless
【动手学深度学习】深入浅出深度学习之利用神经网络识别螺旋状数据集
【动手学深度学习】深入浅出深度学习之利用神经网络识别螺旋状数据集
73 27
|
4天前
|
机器学习/深度学习 算法 计算机视觉
基于yolov2深度学习网络模型的鱼眼镜头中人员检测算法matlab仿真
该内容是一个关于基于YOLOv2的鱼眼镜头人员检测算法的介绍。展示了算法运行的三张效果图,使用的是matlab2022a软件。YOLOv2模型结合鱼眼镜头畸变校正技术,对鱼眼图像中的人员进行准确检测。算法流程包括图像预处理、网络前向传播、边界框预测与分类及后处理。核心程序段加载预训练的YOLOv2检测器,遍历并处理图像,检测到的目标用矩形标注显示。
|
11天前
|
机器学习/深度学习 PyTorch 算法框架/工具
深度学习参数初始化(二)Kaiming初始化 含代码
深度学习参数初始化(二)Kaiming初始化 含代码
24 2
|
11天前
|
机器学习/深度学习 PyTorch 算法框架/工具
深度学习参数初始化(一)Xavier初始化 含代码
深度学习参数初始化(一)Xavier初始化 含代码
21 2
|
11天前
|
机器学习/深度学习 算法 数据可视化
深度学习代码通常包括以下几个主要部分
【5月更文挑战第11天】深度学习代码通常包括以下几个主要部分
12 1
|
11天前
|
机器学习/深度学习 IDE Serverless
通过阅读他人的代码是提高深度学习技能
【5月更文挑战第10天】通过阅读他人的代码是提高深度学习技能
12 4
|
11天前
|
机器学习/深度学习 自然语言处理 算法
Python遗传算法GA对长短期记忆LSTM深度学习模型超参数调优分析司机数据|附数据代码
Python遗传算法GA对长短期记忆LSTM深度学习模型超参数调优分析司机数据|附数据代码
|
11天前
|
机器学习/深度学习 算法 数据可视化
基于深度学习网络的鞋子种类识别matlab仿真
使用GoogLeNet深度学习模型在matlab2022a中进行鞋子种类识别,利用Inception模块捕捉多尺度特征,提升分类精度。程序加载预训练模型`gnet.mat`,计算验证集的准确性并随机显示32个样本的预测结果及置信度。
|
11天前
|
机器学习/深度学习 传感器 数据可视化
MATLAB用深度学习长短期记忆 (LSTM) 神经网络对智能手机传感器时间序列数据进行分类
MATLAB用深度学习长短期记忆 (LSTM) 神经网络对智能手机传感器时间序列数据进行分类
MATLAB用深度学习长短期记忆 (LSTM) 神经网络对智能手机传感器时间序列数据进行分类
|
11天前
|
机器学习/深度学习 数据采集 TensorFlow
R语言KERAS深度学习CNN卷积神经网络分类识别手写数字图像数据(MNIST)
R语言KERAS深度学习CNN卷积神经网络分类识别手写数字图像数据(MNIST)