超多,超快,超强!百度飞桨发布工业级图像分割利器PaddleSeg-阿里云开发者社区

开发者社区> 开发者小助手-bz8> 正文

超多,超快,超强!百度飞桨发布工业级图像分割利器PaddleSeg

简介: 近日,飞桨官方发布了工业级图像分割模型库 PaddleSeg,给开发者带来诚意满满的三重超值惊喜:①一次性开源 15 个官方支持的图像分割领域主流模型,大礼包带来大满足。②多卡训练速度比对标产品快两倍,工业级部署能力,时间节省超痛快。③揭秘包揽了 CVPR2019 LIP 挑战赛人体解析任务大满贯的三冠王 ACE2P 预测模型关键技术,带你一步体验世界领先水平效果。
+关注继续查看

1. PaddleSeg 重磅发布


飞桨的新产品 PaddleSeg 全新上线,重点针对图像分割领域,面向开发者提供了完备且易用的工业级分割模型库。


是的,你没有看错,真正经得起考验的【真. 工业级】的分割模型库。


据介绍,PaddleSeg 已经在百度无人车、AI 开放平台人像分割、小度 P 图和百度地图等多个产品线上应用或实践,在工业质检行业也已经取得了很好的效果。


飞桨官方提供的 PaddleSeg 全景图如下图所示:


微信图片_20211201224304.jpg


2. 图像分割是什么?


图像语义分割通过给出每一个图像中像素点的标签,实现图像中像素级别的语义分割,它是由图像处理到图像分析的关键步骤。


就像下图中所看到的那样,可以对车辆、马路、人行道等实例进行分割和标记!


微信图片_20211201224311.jpg


相比于传统的图像分类任务,图像分割显然更难更复杂,


但是,图像分割是图像理解的重要基石,在自动驾驶、无人机、工业质检等应用中都有着举足轻重的地位。


3. PaddleSeg 三重惊喜


3.1. 一次性开源 15 个图像分割领域主流模型,大礼包带来大满足


PaddleSeg 对所有内置的分割模型都提供了公开数据集下的预训练模型,全面覆盖了 DeepLabv3+、ICNet、U-Net 等图像分割领域的主流模型实现,并且内置了 ImageNet、COCO、CityScapes 等数据集下的 15 个预训练模型,满足不同场景下的不同精度需求和性能需求!


15 个预训练模型,请参考 https://github.com/PaddlePaddle/PaddleSeg/blob/master/docs/model_zoo.md


其中,最重要的三种模型介绍如下:


(1)支持 U-Net 模型:轻量级模型,参数少,计算快
U-Net 起源于医疗图像分割,整个网络是标准的 Encoder-Decoder 网络,特点是参数少,计算快,应用性强,对于一般场景的适应度很高。U-Net 的网络结构如下:


微信图片_20211201224323.jpgimage.gif


(2)支持 DeepLabv3+模型 :PASCAL VOC SOTA 效果,支持多种 Backbone
DeepLabv3+是 DeepLab 系列的最后一篇文章,其前作有 DeepLabv1,DeepLabv2, DeepLabv3。在最新作中,DeepLab 的作者通过 Encoder-Decoder 进行多尺度信息的融合,同时保留了原来的空洞卷积和 ASSP 层,其骨干网络使用了 Xception 模型,提高了语义分割的健壮性和运行速率,在 PASCAL VOC 2012 dataset 取得新的 state-of-art performance,即 89.0mIOU。DeepLabv3+的网络结构如下:


微信图片_20211201224327.jpg


在 PaddleSeg 当前实现中,支持两种分类 Backbone 网络的切换:


  • MobileNetv2:
    适用于移动端部署或者对分割预测速度有较高要求的场景,PaddleSeg 还提供从 0.5x 到 2.0x 不同 DepthMultiplier 的模型。
  • Xception:
    DeepLabv3+原始实现的 backbone 网络,兼顾了精度和性能,适用于服务端部署。PaddleSeg 提供了 41/65/71 三种不同深度的预训练模型。


(3)支持 ICNet 模型:实时语义分割,适用于高性能预测场景


ICNet(Image Cascade Network)主要用于图像实时语义分割。相较于其它压缩计算的方法,ICNet 既考虑了速度,也考虑了准确性。ICNet 的主要思想是将输入图像变换为不同的分辨率,然后用不同计算复杂度的子网络计算不同分辨率的输入,然后将结果合并。ICNet 由三个子网络组成,计算复杂度高的网络处理低分辨率输入,计算复杂度低的网络处理分辨率高的网络,通过这种方式在高分辨率图像的准确性和低复杂度网络的效率之间获得平衡。ICNet 的网络结构如下:

image.gif

微信图片_20211201224342.jpg


3.2. 多卡训练速度比对标产品快两倍,工业级部署能力,时间节省超痛快
在速度方面,PaddleSeg 也提供了多进程的 I/O、优秀的显存优化策略,性能方面得以大大提升。


PaddleSeg 的单卡训练速度是对标产品的 2.3 倍,多卡训练速度是对标产品的 3.1 倍。


与对标产品相比,PaddleSeg 在训练速度、GPU 利用率、显存开销和 Max Batch Size 等方面都有着非常显著的优势。详细的对比数据如下图:

image.gif

微信图片_20211201224351.jpg


测试环境与模型:

  • GPU: Nvidia Tesla V100 16G * 8 
  • CPU: Intel(R) Xeon(R) Gold 6148
  • Model: DeepLabv3+ with Xception65 backbone 


配套的,PaddleSeg 提供了优秀的工业级部署,包括:


  • 高性能 C++预测库:
    支持 Windows 跨平台兼容,支持 Operator 算子融合、TensorRT 加速、MKL-DNN 等计算图优化。
  • Paddle Serving 服务化部署:
    支持高并发预测,支持单服务多模型,还支持模型热更新和 A/B Test。


Paddle Serving 的架构图如下:


微信图片_20211201224841.jpg


不仅在 Paddle Serving 上可以应用,PaddleSeg 提供的模型还可以通过 Paddle Lite 完成移动端部署,可以很好的适配企业级的业务应用。


特别值得一提的是,考虑到在实际的企业场景中(如互娱场景等),往往存在标注成本高、标注数据少的问题,训练数据相对于整个样本空间的占比是非常小的。此时就很有必要采取数据增强策略,对训练集进行扩充。


PaddleSeg 内置了 10 余种数据增强策略,可以有效地帮助企业进行数据集扩充,显著提升模型的鲁棒性。


使用 PaddleSeg 进行数据增强的流程如下:


微信图片_20211201224433.png


3.3. 提供包揽 CVPR2019 LIP 挑战赛人体解析任务大满贯三冠王 ACE2P 模型,带你一步体验世界领先水平效果。
CVPR2019 LIP 挑战赛中,百度公司实力爆棚,提出的 ACE2P 模型,包揽全部三个人体解析任务的第一名,实至名归的大满贯三冠王。
看完感觉不明觉厉,带你了解一下:


LIP 是什么:


LIP(Look Into Person) 是人体解析领域重要的 benchmark,其中人体解析 (Human Parsing) 是细粒度的语义分割任务,旨在将图像中的人体分割为多个区域,每个区域对应指定的类别,如面部等身体部位或上衣等服装类别。由于类别的多样性与复杂性,比单纯的人体分割更具有挑战性。


微信图片_20211201224438.jpg


具体的 LIP 又分为三个方向,分别是:

  • Single-Person Human Parsing Track
  • Multi-Person Human Parsing Track 
  • Video Multi-Person Human Parsing Track


ACE2P 是什么
全称是 Augmented Context Embedding with Edge Perceiving。
ACE2P 为人体部件分割模型,目的在于分割出图像中的人体部件和服装等部位。该模型通过融合底层特征、全局上下文信息和边缘细节,端到端训练学习人体解析任务。本次发布的模型为 backbone 为 ResNet101 的单一模型,


网络结构图如下:


微信图片_20211201224453.jpgimage.gif


CVPR2019 LIP Parsing 的三项榜单全部被百度的 ACE2P 霸榜。

微信图片_20211201224458.png


微信图片_20211201224502.png


微信图片_20211201224505.png


ACE2P 冠军预测模型在 PaddleHub 版本的快速体验命令行直接使用:

微信图片_20211201224509.png


更多内容:https://paddlepaddle.org.cn/hubdetail?name=ace2p&en_category=ImageSegmentation


4. 实际应用效果怎么样?


说了这么多,PaddleSeg 实际效果怎么样,我们用案例说话。


4.1. 应用场景一:工业质检


飞桨与国内稀土永磁零件质检领军企业合作,基于 PaddleSeg 模型库,对精密零件的质检工作进行了 AI 赋能升级。


image.gif

微信图片_20211201224513.jpg


微信图片_20211201224516.gif

image.gif

传统的工作方式下,质检工人每天需要 8~12 小时在亮光下目视检查直径 45mm 以内零件的质量,工作强度非常大,对视力也有很大的损害。


目前,基于 PaddleSeg 内置 ICNet 模型实现的精密零件智能分拣系统,误收率已低于 0.1%。对于 1K*1K 分辨率的彩色图像,预测速度在 1080Ti 上达到了 25ms,单零件的分拣速度比用其他框架实现的快 20%。PaddleSeg 已帮助工厂达到:生产成本平均降低 15%,工厂效益平均提升 15%。同时,交付质量也大幅提升,投诉率平均降低 30%


4.2. 应用场景二:地块分割


分割技术在农业领域也有着广泛的应用,地块分割便是其中一个场景。


传统的地块分割方法,是基于卫星拍摄的遥感影像,依赖于大量拥有遥感专业背景的技术人员使用专业软件来进行分析的。


卫星遥感影像数据存在画幅巨大、肉眼分辨率低的问题,对技术人员的专业要求能力很高,并且人工标注需要大量的重复劳动,非常费时费力和枯燥无味。


如果基于图像分割技术,开发一款地块智能分割系统,快速自动地获知农耕用地边境及面积,就可以更加有效地进行农作物产量预估和农作物分类,辅助农业决策。


微信图片_20211201224537.jpg


目前,基于 PaddleSeg 内置模型 DeepLabv3 实现的地块智能分割系统,面积提取准确率已达到了 80% 以上,这对作物长势、作物分类、成熟期预测、灾害监测、估产等工作都起到了高效的辅助作用,大大节省了人力成本。


4.3. 应用场景三:车道线分割


车道线分割,是图像分割在自动驾驶领域的一个重要应用。


车道线分割的难点主要有两个:


  • 一个是准确度。由于涉及到车辆行驶的安全性,车道线分割对准确度的要求非常非常高的。
  • 另一个是实时性。在车辆高速行驶的过程中,必须快速地、实时地提供车道线分割结果。


准确而快速的车道线分割,能够实时地为车辆提供导航和车道定位指引,提高车辆行驶的安全性,目前正在百度无人车应用实践。


PaddleSeg 实测效果:


微信图片_20211201224543.jpg


4.4. 应用场景四:人像分割


不仅在工业场景下,在 C 端互娱领域,短视频人像特效、证件照智能抠图、影视后期处理等场景下,都需要对人像进行分割。


微信图片_20211201224547.gifimage.gif


有了这个技术,一寸照片换底色,蓝色、白色、红色轻松切换。
基于 PaddleSeg 实现的人像分割模型,mIoU 指标已经达到了 0.93 以上,并且已经在百度 AI 开放平台上线,合作企业高达 60 余家,是真正的产业利器。


5. 技术干货:LIP 人体部件分割关键技术点揭秘


5.1. 修改网络结构,引入扩张卷积(Dilation convolution),提升 1.7 个点


  • 将 ResNet 的 7x7 的卷积层换成了 3 个 3x3 的卷积层,增加网络深度,加固网络的底层特征。


微信图片_20211201224550.png

  • 使用 stride=2 的卷积层替换掉网络中所有的池化层,让下采样过程变得可学习
  • 在 Renset 结构的 stage=5 中加入了 dilation,扩大网络的感受野,增加网络的有效作用区域,使得模型特征更加鲁棒
  • 加入了 pyramid pooling 结构,保证了一个全局的 context 信息的提取。


5.2. 引入了 Lovasz loss,提升 1.3 个点


  • Lovasz loss 是一个多类的 IOU loss,是针对分割的评价指标 IOU 专门设计的 loss,更加适合分割任务
  • Lovasz loss 配合 cross entroy loss 使用,整体的效果提升了 1.3 个点


5.3. 定制化的学习方式,提升 0.8 个点
在实践的过程中我们发现学习方法对最终的效果影响也比较大,所以我们针对任务定制化了学习的方法。


  • 在开始学习的时候我们先使用 warmup 的学习策略,使得一开始时模型的优化更加容易收敛,替换掉常用的 poly 学习策略,引入 cosine decay 的方法,使得在训练快结束时学习率不至于过小,而导致网络不能收敛到最佳值。
  • 整个过程学习率曲线可视化如下:


微信图片_20211201224554.pngimage.gif

5.4. 加入 edge 模块,提升 1.4 个点


  • 加入 edge detection 模块,加深不同 part 之间的骨架特征,减少类间误分割.
  • 将 edge 模块的特征与 seg 的特征融合,使得不同任务之间的效果能够相互提升。具体如下:


微信图片_20211201224557.jpg


6. 代码实战体验


为了更好的体验分割库的效果,避免因为软硬件环境导致的各种问题,我们采用了 AIStudio 一站式实训开发平台作为体验环境,通过完整的人像分割的实例教程来熟悉 PaddleSeg 的使用


本教程使用 DeepLabv3+ xception 的网络结构进行人像分割。


DeepLabv3+是 DeepLab 语义分割系列网络的最新作,其前作有 DeepLabv1,DeepLabv2, DeepLabv3, 在最新作中,DeepLab 的作者通过 encoder-decoder 进行多尺度信息的融合,同时保留了原来的空洞卷积和 ASSP 层,其骨干网络使用了 Xception 模型,提高了语义分割的健壮性和运行速率,在 PASCAL VOC 2012 dataset 取得新的 state-of-art performance,89.0mIOU。


整个网络结构如下:


微信图片_20211201224600.jpg


Xception 是 DeepLabv3+原始实现的 backbone 网络,兼顾了精度和性能,适用于服务端部署。


项目代码内容都是经过研发人员细心优化并封装好顶层逻辑,可以让开发者最快方式体验 PaddleSeg 的效果,以下代码内容供参考核心流程及思路,实际体验建议开发者完整 Fork 项目并点击全部运行即可。


6.1. 模型训练


第一步:解压预训练模型

%cd ~/PaddleSeg/
!mkdir pretrain
!unzip -q -o ~/data/data11874/xception65_pretrained.zip -d pretrain


第二步:解压训练数据,

%cd ~/PaddleSeg/
!mkdir data 
!unzip -q -o ~/data/data11874/humanseg_train.zip -d data


第三步:开始训练,其中配置参数「cfg」用于 指定 yaml 配置文件路径, 模型的配置文件位于 configs 文件夹下的.yaml 文件,「use_gpu」用于是否启用 gpu, 由于 cpu 训练过慢,不建议使用 cpu 进行训练

%cd ~/PaddleSeg/
!cp ~/work/humanseg.yml configs/
!python ./pdseg/train.py  --cfg ./configs/humanseg.yml --use_gpu


6.2. 模型预测和可视化
预测可视化 参数「--vis_dir」用于指定预测结果图片存放位置

%cd ~/PaddleSeg/
!python ./pdseg/vis.py  --cfg ./configs/humanseg.yml --vis_dir ./visual --
use_gpu


6.3. 实际效果
将分割前后的数据显示出来
这里,可以任选测试集的数据也可以自己上传数据来测试实际的分割结果。

image_path = "./data/humanseg/test_images/f4963c23694e919b153546c95e3479675a5a13bd.jpg"
mask_path = 
"./visual/visual_results/f4963c23694e919b153546c95e3479675a5a13bd.png"
display([image_path, mask_path], 0)



微信图片_20211201224605.jpg


效果不错呦,赶快用起来吧


更多详情



文为机器之心发布,转载请联系本公众号获得授权

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器怎么设置密码?怎么停机?怎么重启服务器?
如果在创建实例时没有设置密码,或者密码丢失,您可以在控制台上重新设置实例的登录密码。本文仅描述如何在 ECS 管理控制台上修改实例登录密码。
10020 0
使用NAT网关轻松为单台云服务器设置多个公网IP
在应用中,有时会遇到用户询问如何使单台云服务器具备多个公网IP的问题。 具体如何操作呢,有了NAT网关这个也不是难题。
26776 0
阿里云服务器ECS远程登录用户名密码查询方法
阿里云服务器ECS远程连接登录输入用户名和密码,阿里云没有默认密码,如果购买时没设置需要先重置实例密码,Windows用户名是administrator,Linux账号是root,阿小云来详细说下阿里云服务器远程登录连接用户名和密码查询方法
11588 0
windows server 2008阿里云ECS服务器安全设置
最近我们Sinesafe安全公司在为客户使用阿里云ecs服务器做安全的过程中,发现服务器基础安全性都没有做。为了为站长们提供更加有效的安全基础解决方案,我们Sinesafe将对阿里云服务器win2008 系统进行基础安全部署实战过程! 比较重要的几部分 1.
9154 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
13823 0
阿里云ECS云服务器初始化设置教程方法
阿里云ECS云服务器初始化是指将云服务器系统恢复到最初状态的过程,阿里云的服务器初始化是通过更换系统盘来实现的,是免费的,阿里云百科网分享服务器初始化教程: 服务器初始化教程方法 本文的服务器初始化是指将ECS云服务器系统恢复到最初状态,服务器中的数据也会被清空,所以初始化之前一定要先备份好。
7344 0
阿里云服务器ECS登录用户名是什么?系统不同默认账号也不同
阿里云服务器Windows系统默认用户名administrator,Linux镜像服务器用户名root
4490 0
1916
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载