多人姿态识别框架——AlphaPose

简介: 多人姿态识别框架——AlphaPose

多人姿态识别简介


人体姿态估计有两个主流方案:Two-step frameworkPart-based framework。第一种方案是检测环境中的每一个人体检测框,然后独立地去检测每一个人体区域的姿态(自顶向下的方法)。第二种方案是首先检测出环境中的所有肢体节点,然后进行拼接得到多人的骨架(自底向上的方法)。第一种方案,姿态检测准确度高度以来目标区域框检测的质量。第二种方案,如果两人离得十分近,容易出现模棱两可的情况,而且由于是依赖两个部件之间的关系,所以失去了对全局的信息获取。

AlphaPose


AlphaPose采用自顶向下的方法,提出了RMPE(区域多人姿态检测)框架。该框架主要包括symmetric spatial transformer network (SSTN)、Parametric Pose Non- Maximum-Suppression (NMS)和Pose-Guided Proposals Generator (PGPG)。并且使用symmetric spatial transformer network (SSTN)、deep proposals generator (DPG) 、parametric pose nonmaximum suppression (p-NMS) 三个技术来解决野外场景下多人姿态估计问题。

在SPPE结构上添加SSTN,能够在不精准的区域框中提取到高质量的人体区域。并行的SPPE分支(SSTN)来优化自身网络。使用parametric pose NMS来解决冗余检测问题,在该结构中,使用了自创的姿态距离度量方案比较姿态之间的相似度。用数据驱动的方法优化姿态距离参数。最后我们使用PGPG来强化训练数据,通过学习输出结果中不同姿态的描述信息,来模仿人体区域框的生成过程,进一步产生一个更大的训练集。

相关论文


https://arxiv.org/abs/1612.00137

论文代码


https://github.com/MVIG-SJTU/AlphaPose

获取代码


git clone https://github.com/MVIG-SJTU/AlphaPose.git

按照repo的安装说明完成代码库的安装,然后运行下面命令行:

python scripts/demo_inference.py --cfg configs/coco/resnet/256x192_res50_lr1e-3_1x.yaml --checkpoint pretrained_models/fast_res50_256x192.pth --indir examples/demo/

运行结果如下:

4b9dcf1cf13e6167b7e803a7cdea0fcd.jpg

f9eabb819d5d7fe6e34d5cacb0185b3d.jpg

4560cc0b8cae40083254fa27e1094a38.jpg

one more thing


等过一段时间博主有时间可以详细讲解一下Alphapose这篇论文,里面的许多思想或是技术都是值得我们研究和借鉴的。

相关文章
|
6月前
|
存储 C++ 计算机视觉
【三维重建技术】C++医学影像处理系统源码
医学影像存储与传输系统是PACS和RIS系统完美结合在一起的综合应用系统。系统的硬件结构由高性能服务器、大容量存储设备、高速网络、各种信息采集设备、各种诊断及应用工作站组成;系统的基本结构由系统管理、图像采集传输与存贮和图像处理与辅助诊断应用三大部分构成。
94 10
|
25天前
|
监控 小程序 JavaScript
快应用-带你实现一个换脸应用
快应用-带你实现一个换脸应用
16 1
快应用-带你实现一个换脸应用
|
3月前
|
自然语言处理 语音技术
|
6月前
|
小程序 开发者
游戏开发者的视觉盲区
游戏开发者的视觉盲区
63 0
|
语音技术 UED
语音房源码搭建技术分享之降噪功能详解
我今天要分享的知识就与噪音有关,在语音房源码平台中,噪音的存在对其也会有极大的影响,影响语音房源码平台的噪音来源也有很多,像是外界环境的噪杂等,所以在语音房源码中,降噪功能的出现缓解了噪音对语音房源码平台的影响
语音房源码搭建技术分享之降噪功能详解
|
传感器 存储 数据采集
自动驾驶的“天眼”!聊一聊高精地图领域中所有主流的制作方案(上)
在过去几年中,自动驾驶一直是最受欢迎和最具挑战性的话题之一。在实现完全自主的道路上,研究人员利用了各种传感器,如激光雷达、相机、惯性测量单元(IMU)和GPS,并开发了用于自动驾驶应用的智能算法,如目标检测、目标分割、障碍避免和路径规划。近年来,高清晰度(HD)地图引起了广泛关注。
自动驾驶的“天眼”!聊一聊高精地图领域中所有主流的制作方案(上)
|
机器学习/深度学习 存储 传感器
自动驾驶的“天眼”!聊一聊高精地图领域中所有主流的制作方案(下)
在过去几年中,自动驾驶一直是最受欢迎和最具挑战性的话题之一。在实现完全自主的道路上,研究人员利用了各种传感器,如激光雷达、相机、惯性测量单元(IMU)和GPS,并开发了用于自动驾驶应用的智能算法,如目标检测、目标分割、障碍避免和路径规划。近年来,高清晰度(HD)地图引起了广泛关注。
自动驾驶的“天眼”!聊一聊高精地图领域中所有主流的制作方案(下)
|
SQL 机器学习/深度学习 算法
直播回顾 | 一文带你看透模型开发与部署
顶象人工智能专家&研发总监无常从模型平台的现状与需求出发,带大家了解了模型平台的开发环境与部署环境,并且就顶象的Xintell 模型平台 为大家做了演示。
275 0
直播回顾 | 一文带你看透模型开发与部署
|
机器人 图形学
3D链游开发稳定版丨3D链游系统开发规则及详细丨3D链游源码部署(人物建模游戏开发)
首先,把Project-Standard Assets-Characters-ThirdPersonCharacter-Animation中的HumanoidIdle和HumanoidRun导入Animator,设置Speed超过一定值时进入HumanoidRun,Speed超过一定值时返回HumanoidIdle。
|
Rust 图形学
【3D游戏建模全流程】使用Maya制作赛车模型
本文分享了使用Maya制作越野赛车模型的过程,并展示如何制作橡胶轮胎。
206 0
【3D游戏建模全流程】使用Maya制作赛车模型