效果演示：

https://www.bilibili.com/video/BV1Ad4y1s7n9/?zw&vd_source=1ced20c27a217560e297fb30eb1e73c5

一、项目简介

项目背景：

基于视觉深度学习的自动驾驶场景，旨在对车载摄像头采集的视频数据进行道路场景解析（行车检测），为自动驾驶提供一种解决思路。该项目使用bdd100k_car数据集训练，并完成了安卓部署。

项目意义：

现如今，汽车在日益普及人们的生活，再给人们带来极大便利的同时也造成了拥堵的交通更为频发的交通事故。通过行车检测不仅能够更好的帮助司机检查路况，并且还能够更好的规化当前的路程管理，减轻道路的拥堵情况。在车辆驾驶中主要考验的是司机如何应对其他行驶车辆的可能行为，这种预判断直接影响司机本人的驾驶决策，特别是在多车道环境或者交通灯变灯的情况下，司机的预测决定了下一秒行车的安全。因此，过渡到无人驾驶系统中，决策模块如何根据周围车辆的行驶状况决策下一秒的行驶行为显得至关重要。利用PP-PicoDet在大规模车辆数据集 BDD100k上进行了60个epoch 的预训练，并导出了静态模型和ONNX模型实现高效推理。在静态图模型的基础上，利用Paddlelite进行安卓部署,使用官方提供的安卓部署demo 的develop分支实现了移动端的实时检测。

二、数据集介绍

官方数据集地址：BDD100K 自动驾驶数据集

视频数据： 超过1,100小时的100000个高清视频序列在一天中许多不同的时间，天气条件，和驾驶场景驾驶经验。视频序列还包括GPS位置、IMU数据和时间戳。

道路目标检测： 2D边框框注释了100,000张图片，用于公交、交通灯、交通标志、人、自行车、卡车、摩托车、小汽车、火车和骑手。

实例分割： 超过10,000张具有像素级和丰富实例级注释的不同图像。

引擎区域： 从10万张图片中学习复杂的可驾驶决策。

车道标记： 10万张图片上多类型的车道标注，用于引导驾驶。

编辑

三、技术路线

1、PaddleDetection简介：

PaddleDetection 为基于飞桨的端到端目标检测套件，内置30+模型算法及300+预训练模型，覆盖目标检测、实例分割、跟踪、关键点检测等方向，其中包括服务器端和移动端高精度、轻量化产业级 SOTA 模型、冠军方案和学术前沿算法，并提供即插即用的垂类场景预训练模型，覆盖人、车等20+场景，提供配置化的网络模块组件、十余种数据增强策略和损失函数等高阶优化支持和多种部署方案，在打通数据处理、模型开发、训练、压缩、部署全流程的基础上，提供丰富的案例及教程，加速算法产业落地应用。

编辑

PaddleDetection模块式地提供YOLOE，EfficientDet等10余种目标检测算法、ResNet-vd，MobileNetV3等10余种backbone，以及sync batch norm, IoU Loss、可变性卷积等多个扩展模块，这些模块可以定制化地自由组合，灵活配置；同时预置提供100余种训练好的检测模型。

2、模型库链接：

PaddleDetection代码GitHub链接： https://github.com/PaddlePaddle/PaddleDetection

PaddleDetection代码Gitee链接： https://gitee.com/paddlepaddle/PaddleDetection

PaddleDetection文档链接： https://paddledetection.readthedocs.io/

四、轻量检测器PP-PicoDet

PP-PicoDet模型有如下特点：

🌟 更高的mAP: 第一个在1M参数量之内mAP(0.5:0.95)超越30+(输入416像素时)。
🚀 更快的预测速度: 网络预测在ARM CPU下可达150FPS。
😊 部署友好: 支持PaddleLite/MNN/NCNN/OpenVINO等预测库，支持转出ONNX，提供了C++/Python/Android的demo。
😍 先进的算法: 我们在现有SOTA算法中进行了创新, 包括：ESNet, CSP-PAN, SimOTA等等。
技术报告地址：https://arxiv.org/abs/2111.00902

编辑

五、环境配置

首先更新pip

pip install --upgrade pip
# 克隆paddledetection仓库
# gitee 国内下载比较快
!git clone https://gitee.com/paddlepaddle/PaddleDetection.git
# github 
# !git clone https://github.com/PaddlePaddle/PaddleDetection.git
#运行结果：
#Cloning into 'PaddleDetection'...
# remote: Enumerating objects: 254651, done.
# remote: Counting objects: 100% (235121/235121), done.
# remote: Compressing objects: 100% (42714/42714), done.
# remote: Total 254651 (delta 193702), reused 232759 (delta 191618), pack-reused 19530
# Receiving objects: 100% (254651/254651), 411.85 MiB | 14.40 MiB/s, done.
# Resolving deltas: 100% (208251/208251), done.
# Checking connectivity... done.

# 导入package
!pip install -r ~/PaddleDetection/requirements.txt
# 继续安装依赖库
!python3 ~/PaddleDetection/setup.py install

本项目使用平台提供的数据集🔗

# 解压数据集
# 注意数据集压缩包的位置
!unzip -oq /home/aistudio/data/data102832/bdd100kcar.zip -d /home/aistudio/PaddleDetection/dataset/bd100k

将数据集中的json文件转换为xml文件，需要用到第三方库dicttoxml，请先在终端执行以下命令：

pip install dicttoxml

# 生成train_list.txt和val_list.txt
import os
os.chdir('/home/aistudio/PaddleDetection/dataset/bd100k/')
base_dir = 'images/100k/'
label_dir = 'labels/voc_labels/'
with open('train_list.txt', 'w') as train:
    for filename in os.listdir(base_dir + 'train'):
        train.write(base_dir + 'train/' + filename + " " + label_dir + 'train/' + filename.split('.')[0] + '.xml\n')
with open('val_list.txt', 'w') as val:
    for filename in os.listdir(base_dir + 'val'):
        val.write(base_dir + 'val/' + filename + " " + label_dir + 'val/' + filename.split('.')[0] + '.xml\n')

# 查看一下数据集数量
import os
os.chdir('/home/aistudio/PaddleDetection/dataset/bd100k/')
base_dir = 'images/100k/'
imgs = os.listdir(base_dir + 'train')
print('训练集图片总量: {}'.format(len(imgs)))
imgs = os.listdir(base_dir + 'val')
print('验证集图片总量: {}'.format(len(imgs)))
imgs = os.listdir(base_dir + 'test')
print('测试集图片总量: {}'.format(len(imgs)))
# 结果：
# 训练集图片总量: 68943
# 验证集图片总量: 9882
# 测试集图片总量: 20000

在PaddleDetection/dataset/bd100k中创建一个label_list.txt文件，用于存放标签,并添加标签

编辑

七、数据预处理

sample_transforms:
  - Decode: {}
  - RandomCrop: {}
  - RandomFlip: {prob: 0.5}
  - RandomDistort: {}
  batch_transforms:
  - BatchRandomResize: {target_size: [576, 608, 640, 672, 704], random_size: True, random_interp: True, keep_ratio: False}
  - NormalizeImage: {is_scale: true, mean: [0.485,0.456,0.406], std: [0.229, 0.224,0.225]}
  - Permute: {}
  - PadGT: {}

RandomCrop：随机裁剪图像。
RandomFlip：实现图像的随机翻转（翻转概率为0.5）。
RandomDistort：以一定的概率对图像进行随机像素内容变换，可包括亮度、对比度、饱和度、色相角度、通道顺序的调整，模型训练时的数据增强操作。
BatchRandomResize:对一个批次中的图片随机指定尺寸，范围是[576, 608, 640, 672, 704]，插值方式为随机插值，进行多尺度训练。
Normalize：图像归一化，均值默认为[0.485, 0.456, 0.406]。长度应与图像通道数量相同。标准差默认为[0.229, 0.224, 0.225]。长度应与图像通道数量相同。

八、模型训练

本项目使用的配置文件是

~/PaddleDetection/configs/picodet/picodet_xs_416_coco_lcnet.yml

打开此文件，修改配置文件如下：

_BASE_: [
  '../datasets/voc.yml',
  '../runtime.yml',
  '_base_/picodet_v2.yml',
  '_base_/optimizer_300e.yml',
  '_base_/picodet_416_reader.yml',
]
....
epoch: 60

对configs/datasets/voc.yml文件进行修改如下：
（num_classes为标签数量加背景数量）

metric: VOC
map_type: 11point
num_classes: 2
TrainDataset:
  !VOCDataSet
    dataset_dir: dataset/bd100k
    anno_path: train_list.txt
    label_list: label_list.txt
    data_fields: ['image', 'gt_bbox', 'gt_class', 'difficult']
EvalDataset:
  !VOCDataSet
    dataset_dir: dataset/bd100k
    anno_path: val_list.txt
    label_list: label_list.txt
    data_fields: ['image', 'gt_bbox', 'gt_class', 'difficult']
TestDataset:
  !ImageFolder
    anno_path: dataset/bd100k/label_list.txt

对configs/picodet/base/optimizer_300e.yml文件进行修改如下：
（本次设置60个epoch，学习率lr=0.05）

epoch: 60
LearningRate: 
  base_lr: 0.05
  schedulers: 
  - !CosineDecay
    max_epochs: 300
  - !LinearWarmup
    start_factor: 0.1
    steps: 300
OptimizerBuilder:
  optimizer:
    momentum: 0.9
    type: Momentum
  regularizer:
    factor: 0.00004
    type: L2

训练阶段采用的学习率衰减策略为余弦衰减，最大迭代轮次为200，由于该数据集只进行二分类，即汽车和背景类，观察vdl模型基本收敛即可停止训练。

至此，文件配置完成，就开始炼丹咯

# 开启训练
%cd ~/PaddleDetection
!python3 tools/train.py -c configs/picodet/picodet_xs_416_coco_lcnet.yml --eval \
     --use_vdl True \
     --vdl_log_dir output/vdl_picodet_xs/ \
     -o use_gpu=true

九、模型评估

# 评估 默认使用训练过程中保存的best_model
# -c 参数表示指定使用哪个配置文件
# -o 参数表示指定配置文件中的全局变量（覆盖配置文件中的设置），需使用单卡评估
%cd ~/PaddleDetection
!python tools/eval.py -c configs/picodet/picodet_xs_416_coco_lcnet.yml \
    -o weights=output/picodet_xs_416_coco_lcnet/best_model.pdparams \
    -o use_gpu=true

十、模型测试

动态图测试

# 测试 -c 参数表示指定使用哪个配置文件
# -o 参数表示指定配置文件中的全局变量（覆盖配置文件中的设置）
# --infer_dir 参数指定预测图像所在文件夹路径
# --infer_img 参数指定预测图像路径
# --output_dir 输出结果文件夹路径
# 预测结束后会在output文件夹中生成一张画有预测结果的同名图像
%cd ~/PaddleDetection
!python tools/infer.py -c configs/picodet/picodet_xs_416_coco_lcnet.yml \
--infer_dir=dataset/bd100k/images/100k/test \
--output_dir=dataset/result \
-o use_gpu=true \
-o weights=output/picodet_xs_416_coco_lcnet/best_model.pdparams

测试集效果

编辑

静态图测试

# 将训练好的模型导出为静态图
%cd ~/PaddleDetection
!python tools/export_model.py -c configs/picodet/picodet_xs_416_coco_lcnet.yml \
              -o weights=output/picodet_xs_416_coco_lcnet/best_model.pdparams \
              --output_dir=inference

导出文件结构如下

inference/picodet_xs_416_coco_lcnet
       |--infer_cfg.yml
       |--model.pdmodel
       |--model.pdiparams
       |--model.pdiparams.info

Picodet静态图性能测试在这里，随机从20000张测试集中选择1000张图片进行性能测试，测试环境包括以下三种配置：

CPU+4 Thread
CPU+MKL+4 Thread
GPU

# 随机采样
import shutil
import os
import numpy as np
data_dir = "dataset/bd100k/images/100k/test/"
pathlist= os.listdir(data_dir)
t = np.random.choice(pathlist, size=1000, replace=False)
for path in t:
    src = data_dir + path
    dst = "dataset/static_test/" + path
    shutil.copy(src, dst)

# CPU测试推理模型(不开启mkldnn加速)
!python deploy/python/infer.py --model_dir=inference/picodet_xs_416_coco_lcnet \
            --image_dir dataset/static_test \
            --output_dir dataset/static_result \
            --device=CPU --batch_size=1 \
            --cpu_threads=4

# CPU测试推理模型(开启mkldnn加速)
!python deploy/python/infer.py --model_dir=inference/picodet_xs_416_coco_lcnet \
            --image_dir dataset/static_test \
            --output_dir dataset/static_result \
            --device=CPU --batch_size=1 \
            --cpu_threads=4 \
            --enable_mkldnn=True

# GPU测试推理模型
!python deploy/python/infer.py --model_dir=inference/picodet_xs_416_coco_lcnet \
            --image_dir dataset/static_test \
            --output_dir dataset/static_result \
            --device=GPU --batch_size=1

十一、模型安卓端部署

官方使用指南(注意：这不是下载链接，链接连接后边会提到)

1.Paddle Lite安装

# 首先安装PaddleLite
!pip install paddlelite==2.9.0

2.Paddle Lite模型转换

将Paddle模型转换为Paddle Lite模型：使用Paddle Lite opt工具将Paddle模型转换为Paddle Lite模型。执行命令如下

（注意如果跳过将训练好的模型导出为静态图导出骤，'./inference/picodet_xs_416_coco_lcnet'将不存在,执行模型导出为静态图导出步骤后再执行此步骤）

'''
      --model_dir: 指定模型文件夹位置
      --valid_targets: 指定模型可执行的 backend，默认为arm
      --optimize_out: 优化模型的输出路径
'''
%cd ~/PaddleDetection/
!paddle_lite_opt --model_dir=./inference/picodet_xs_416_coco_lcnet \
      --valid_targets=arm \
      --optimize_out=lite_model

!ls -l |grep lite_model
# 结果：
# -rw-r--r--  1 aistudio users    4476918 Mar 12 21:51 lite_model.nb

可见模型已转换完毕，文件名为 lite_model.nb

3.Android Studio配置

Android Studio安装教程

3.1下载Android SDK 选择与你运行设备相同的版本。

编辑

3.2下载 NDK和CMake 打开工具栏中Tool->SDK Manager，然后根据图3步骤安装NDK等工具，下载NDK 21.4.7075529 版本和CMake 3.10.2.4988404版本。

编辑

3.3 NDK/SDK配置打开工具栏中File->Project Structure

编辑

3.4 JDK配置打开工具栏中File->Settings

编辑

4.下载Android项目

github下载连接

解压出官方demo
Android Studio打开Paddle-Lite-Demo/object_detection/android/app/cxx/picodet_detection_demo 目录
手机连接电脑，打开 USB 调试和文件传输模式，并在 Android Studio 上连接自己的手机设备（手机需要开启允许从 USB 安装软件权限）
注意；一定要检查时候与刚刚Android Studio配置的是否相同此时可一运行官方demo

编辑

运行后手机会提示安装名叫SSD Detection的APP，安装后允许权限。

5.项目配置

5.1 首先看一下需要用的.nb文件结构

编辑

发现输入为416X416

5.2 替换模型文件及标签

在assets/model文件夹下新建一个picodet_xs_416_coco_lcnet文件夹并把刚才转换生成的nb文件复制在里边，重命名nb文件为model.nb。如图

编辑

在assets/labels文件夹下复制标签文件（训练模型前创建的）。如图

编辑

结果

编辑

5.4 修改strings.xml文件

修改
<string name="MODEL_DIR_DEFAULT">
<string name="LABEL_PATH_DEFAULT">
<string name="INPUT_WIDTH_DEFAULT">416</string>
<string name="INPUT_HEIGHT_DEFAULT">416</string>

【"MODEL_DIR_DEFAULT"】为模型路径，修改为刚刚直接建的模型文件夹。

【"LABEL_PATH_DEFAULT"】为标签文件，修改为刚复制的lable_list.text

【"INPUT_WIDTH_DEFAULT"】【"INPUT_HEIGHT_DEFAULT"】分别为输入图片的宽高，需要与nb文件模型对应，刚已经查看为416X416

6.编译运行

编辑

项目总结

利用PP-PicoDet在大规模车辆数据集BDD100k上进行了60个epoch的预训练，并导出了静态模型实现高效推理。
在静态图模型的基础上，利用Paddlelite进行安卓部署，使用官方提供的安卓部署demo的develop分支实现了移动端的实时检测。
后续完成基于DeepLabv3p实现车道线分割

[Paddle Detection]基于PP-PicoDet行车检测（完成安卓端部署）