通过正点原子的ATK-3568了解到了YOLOP，这里记录下训练及测试及在onnxruntime部署的过程。

步骤：训练->测试->转成onnx->onnxruntime部署测试

一、前言

YOLOP是华中科技大学研究团队在2021年开源的研究成果，其将目标检测/可行驶区域分割和车道线检测三大视觉任务同时放在一起处理，并且在Jetson TX2开发板子上能够达到23FPS。

论文标题：YOLOP: You Only Look Once for Panoptic Driving Perception
论文地址: https://arxiv.org/abs/2108.11250
官方代码: https://github.com/hustvl/YOLOP

网络结构
相比于其它论文，YOLOP的论文很容易阅读。YOLOP的核心亮点就是多任务学习，而各部分都是拿其它领域的成果进行缝合，其网络结构如下图所示：

三个子任务共用一个Backbone和Neck，然后分出来三个头来执行不同的任务。

二、环境搭建

1、平台

使用的是AutoDL平台，配置如下：

2、环境创建

创建虚拟环境

conda create -n yolop_env python=3.8 -y

激活环境

conda activate yolop_env

安装pytorch

根据官网Previous PyTorch Versions | PyTorch安装pytorch，这里选择1.7版本，其他版本测试时，在转换成onnx时出错，所以在这里直接安装1.7版本。

pip install torch==1.7.1+cu101 torchvision==0.8.2+cu101 torchaudio==0.7.2 -f https://download.pytorch.org/whl/torch_stable.html

下载源码，代码地址：

https://github.com/hustvl/YOLOP

安装yolop环境

pip install -r requirements.txt

测试

python tools/demo.py --source ./inference/images/0ace96c3-48481887.jpg

运行 python tools/demo.py --source ./inference/videos/1.mp4
测试图片：–source 图片路径 (或存放图片的文件夹路径)
测试视频：–source 视频路径 (或存放视频的文件夹路径)
相机实时：–source 0
默认用cpu测试效果，如果想改成gpu，修改demo.py 198行。

三、onnxruntime测试

先安装onnxruntime

pip install onnxruntime

测试

python test_onnx.py --weight yolop-640-640.onnx --img ./inference/images/adb4871d-4d063244.jpg

四、训练

训练前需要下载数据集，可以根据YOLOP里的readme.md里的地址下载，也可以下载下面的网盘地址，把数据解压到YOLOP目录下。

链接：https://pan.baidu.com/s/1DJirasFncnnf4auI-BxEHA 
提取码：1234

在Train之前修改相关参数，修改文件./lib/config/default.py

1、修改第9行：

_C.WORKERS = 0
2、修改第51-56行，这是数据集的路径

_C.DATASET = CN(new_allowed=True)
_C.DATASET.DATAROOT = '/root/YOLOP-main/datasets/images'       # the path of images folder
_C.DATASET.LABELROOT = '/root/YOLOP-main/datasets/det_annotations'      # the path of det_annotations folder
_C.DATASET.MASKROOT = '/root/YOLOP-main/datasets/da_seg_annotations'                # the path of da_seg_annotations folder
_C.DATASET.LANEROOT = '/root/YOLOP-main/datasets/ll_seg_annotations'               # the path of ll_seg_annotations folder

3、修改ATCH_SIZE
修改96行，121行_C.TRAIN.BATCH_SIZE_PER_GPU 为合适大小

修改完后，就可以训练了,执行下面命令开始训练：

python tools/train.py

训练时间很久，根据default.py文件，epoch共240轮，大概8小时左右，在训练过程中有一点要注意，每训练一轮结束后，模型和一些图片都会保存下来，造成磁盘空间不够，有可能训练失败，我只是测试所以只训练了100轮。

五、转onnx模型及测试

转换成onnx模型前，先安装环境

pip install onnxruntime
pip install onnx
pip install onnx-simplifier
pip install onnxoptimizer
pip install numpy==1.20.0

安装完后，运行python export_onnx.py转成onnx模型

onnxruntime测试和上面一样，执行下面命令测试

python test_onnx.py --weight yolop-640-640.onnx --img ./inference/images/adb4871d-4d063244.jpg

onnx转换并测试成功，接下来就是把模型转成rknn并在rk3568上部署。

遇到的问题：
[ONNXRuntimeError] : 1 : FAIL : Node (Mul_948) Op (Mul) [ShapeInferenceError]
处理：把torch降成1.7