最高比Mask-RCNN快3倍!上交大实时姿态估计AlphaPose升级

简介:

AlphaPose是一个实时多人姿态估计系统。

今年2月,上海交通大学卢策吾团队MVIG实验室AlphaPose 系统上线,是首个在 COCO 数据集上可达到 70+ mAP 的开源姿态估计系统。本次更新,在精度不下降情况下,实时性是一大提升亮点。

新系统采用 PyTorch 框架,在姿态估计(Pose Estimation)标准测试集COCO validation set上,达到 71mAP的精度(比 OpenPose 相对提升17%,Mask-RCNN相对提升8%),同时,速度达到了20FPS(比 OpenPose 相对提高66%,Mask-RCNN相对提高300%)

b4f3e489238e4bfd818fb91e68ffb0c42cd25a5d

再次感受一下升级后AlphaPose的速度

检测精度不变,平均速度比Mask-RCNN快3倍

人体关键点检测对于描述人体姿态,预测人体行为至关重要。因此,人体关键点检测是诸多计算机视觉任务的基础。其在动作分类,异常行为检测,以及人机交互等领域有着很广阔的应用前景,是计算机视觉领域中一个既具有研究价值、同时又极具挑战性的热门课题。

AlphaPose系统,是基于上海交大MVIG组提出的 RMPE 二步法框架(ICCV 2017论文)构建的,相比其他开源系统在准确率有很大提高,比OpenPose相对提高17%,Mask-RCNN相对提高8.2%。

升级后,各个开源框架在COCO-Validation上性能,时间在单卡1080ti GPU测出指标如下:

开源系统

准确率

平均速度

Openpose(CMU)

60 mAP

12 FPS

Mask-RCNN(Facebook)

67 mAP

5 FPS

Alphapose(SJTU)

71 mAP

20 FPS

基于PyTorch框架,在人体姿态估计模型中引入Attention模块

新版 AlphaPose 系统,架设在 PyTorch 框架上,得益于Python的灵活性,新系统对用户更加友好,安装使用过程更加简易,同时支持Linux与Windows系统使用,方便进行二次开发。此外,系统支持图片、视频、摄像头输入,实时在线计算出多人的姿态结果。

为了在兼顾速度的同时保持精度,新版AlphaPose提出了一个新的姿态估计模型。模型的骨架网络使用 ResNet101,同时在其下采样部分添加 SE-block 作为 attention 模块——已经有很多实验证明,在 Pose Estimation 模型中引入 attention 模块能提升模型的性能,而仅在下采样部分添加 SE-block 能使 attention 以更少的计算量发挥更好的效果。

除此之外,使用 PixelShuffle + Conv 进行3次上采样,输出关键点的热度图。传统的上采样方法会使用反卷积或双线性插值。而使用 PixelShuffle 的好处在于,在提高分辨率的同时,保持特征信息不丢失。对比双线性插值,运算量低;对比反卷积,则不会出现网格效应。

在系统架构方面,新版 AlphaPose 采用多级流水的工作方式,使用多线程协作,将速度发挥到极致。

AlphaPose 系统目前在COCO的 Validation 集上的运行速度是 20FPS(平均每张图片4.6人),精度达到71mAP。 在拥挤场景下(平均每张图片15人),AlphaPose系统速度仍能保持 10FPS 以上。


原文发布时间为:2018-09-14

本文来自云栖社区合作伙伴“磐创AI”,了解相关信息可以关注“磐创AI”。

相关文章
|
7月前
|
机器学习/深度学习 传感器 自动驾驶
狂风暴雨依旧YOLO | 全新数据集,全新任务,促进极端降雨条件下目标检测的优化和发展
狂风暴雨依旧YOLO | 全新数据集,全新任务,促进极端降雨条件下目标检测的优化和发展
250 0
|
5月前
|
机器学习/深度学习 编解码 人工智能
一种基于YOLOv8改进的高精度表面缺陷检测网络, NEU-DET和GC10-DET涨点明显(原创自研)
【7月更文挑战第3天】一种基于YOLOv8改进的高精度表面缺陷检测, 在NEU-DET和GC10-DET任务中涨点明显;
168 1
|
7月前
|
传感器 编解码 自动驾驶
YOLO还真行 | 2D检测教3D检测做事情,YOLOv7让BEVFusion无痛涨6个点,长尾也解决了
YOLO还真行 | 2D检测教3D检测做事情,YOLOv7让BEVFusion无痛涨6个点,长尾也解决了
190 0
|
7月前
|
机器学习/深度学习 固态存储 算法
目标检测的福音 | 如果特征融合还用FPN/PAFPN?YOLOX+GFPN融合直接起飞,再涨2个点
目标检测的福音 | 如果特征融合还用FPN/PAFPN?YOLOX+GFPN融合直接起飞,再涨2个点
312 0
|
数据可视化 计算机视觉
其实没有NMS检测也可以很强很快 | O2F样本匹配助力目标检测逃离NMS时代(二)
其实没有NMS检测也可以很强很快 | O2F样本匹配助力目标检测逃离NMS时代(二)
203 0
|
机器学习/深度学习 算法 固态存储
其实没有NMS检测也可以很强很快 | O2F样本匹配助力目标检测逃离NMS时代(一)
其实没有NMS检测也可以很强很快 | O2F样本匹配助力目标检测逃离NMS时代(一)
169 0
|
存储 机器学习/深度学习 人工智能
YOLOv5永不缺席 | YOLO-Pose带来实时性高且易部署的姿态估计模型!!!
YOLOv5永不缺席 | YOLO-Pose带来实时性高且易部署的姿态估计模型!!!
388 0
|
编解码 vr&ar 计算机视觉
CenterNet++ | CenterNet携手CornerNet终于杀回来了,实时高精度检测值得拥有!(二)
CenterNet++ | CenterNet携手CornerNet终于杀回来了,实时高精度检测值得拥有!(二)
213 0
|
机器学习/深度学习 编解码 算法
CenterNet++ | CenterNet携手CornerNet终于杀回来了,实时高精度检测值得拥有!(一)
CenterNet++ | CenterNet携手CornerNet终于杀回来了,实时高精度检测值得拥有!(一)
178 0
|
计算机视觉
采样提速256倍,蒸馏扩散模型生成图像质量媲美教师模型,只需4步
采样提速256倍,蒸馏扩散模型生成图像质量媲美教师模型,只需4步
227 0