多人姿态识别框架——AlphaPose

简介: 多人姿态识别框架——AlphaPose

多人姿态识别简介


人体姿态估计有两个主流方案:Two-step frameworkPart-based framework。第一种方案是检测环境中的每一个人体检测框,然后独立地去检测每一个人体区域的姿态(自顶向下的方法)。第二种方案是首先检测出环境中的所有肢体节点,然后进行拼接得到多人的骨架(自底向上的方法)。第一种方案,姿态检测准确度高度以来目标区域框检测的质量。第二种方案,如果两人离得十分近,容易出现模棱两可的情况,而且由于是依赖两个部件之间的关系,所以失去了对全局的信息获取。

AlphaPose


AlphaPose采用自顶向下的方法,提出了RMPE(区域多人姿态检测)框架。该框架主要包括symmetric spatial transformer network (SSTN)、Parametric Pose Non- Maximum-Suppression (NMS)和Pose-Guided Proposals Generator (PGPG)。并且使用symmetric spatial transformer network (SSTN)、deep proposals generator (DPG) 、parametric pose nonmaximum suppression (p-NMS) 三个技术来解决野外场景下多人姿态估计问题。

在SPPE结构上添加SSTN,能够在不精准的区域框中提取到高质量的人体区域。并行的SPPE分支(SSTN)来优化自身网络。使用parametric pose NMS来解决冗余检测问题,在该结构中,使用了自创的姿态距离度量方案比较姿态之间的相似度。用数据驱动的方法优化姿态距离参数。最后我们使用PGPG来强化训练数据,通过学习输出结果中不同姿态的描述信息,来模仿人体区域框的生成过程,进一步产生一个更大的训练集。

相关论文


https://arxiv.org/abs/1612.00137

论文代码


https://github.com/MVIG-SJTU/AlphaPose

获取代码


git clone https://github.com/MVIG-SJTU/AlphaPose.git

按照repo的安装说明完成代码库的安装,然后运行下面命令行:

python scripts/demo_inference.py --cfg configs/coco/resnet/256x192_res50_lr1e-3_1x.yaml --checkpoint pretrained_models/fast_res50_256x192.pth --indir examples/demo/

运行结果如下:

4b9dcf1cf13e6167b7e803a7cdea0fcd.jpg

f9eabb819d5d7fe6e34d5cacb0185b3d.jpg

4560cc0b8cae40083254fa27e1094a38.jpg

one more thing


等过一段时间博主有时间可以详细讲解一下Alphapose这篇论文,里面的许多思想或是技术都是值得我们研究和借鉴的。

相关文章
|
8月前
|
机器学习/深度学习 搜索推荐 计算机视觉
ComicTrainee_v1.0模型——专注生成动漫风格人物画像
ComicTrainee_v1.0模型——专注生成动漫风格人物画像
87 0
|
7月前
|
人工智能 数据可视化 程序员
【推荐100个unity插件之7】使用BehaviorDesigner插件制作BOSS的AI行为树
【推荐100个unity插件之7】使用BehaviorDesigner插件制作BOSS的AI行为树
276 0
|
语音技术 信息无障碍
直播源码搭建平台技术知识:实时语音识别字幕呈现功能
回到我们的直播源码平台开发上来,对于直播源码平台来说实时语音识别字幕呈现功能也是重要的功能之一,好了,正式进入我们今天的主题内容:直播源码搭建平台技术知识:实时语音识别字幕呈现功能!
直播源码搭建平台技术知识:实时语音识别字幕呈现功能
|
人工智能 测试技术
「化腐朽为神奇」:Stability AI又出新工具,草图瞬间精致,不同风格随心选
「化腐朽为神奇」:Stability AI又出新工具,草图瞬间精致,不同风格随心选
121 0
|
机器学习/深度学习 人工智能 并行计算
声音好听,颜值能打,基于PaddleGAN给人工智能AI语音模型配上动态画面(Python3.10)
PaddlePaddle是百度开源的深度学习框架,其功能包罗万象,总计覆盖文本、图像、视频三大领域40个模型,可谓是在深度学习领域无所不窥。 PaddleGAN视觉效果模型中一个子模块Wav2lip是对开源库Wav2lip的二次封装和优化,它实现了人物口型与输入的歌词语音同步,说白了就是能让静态图的唇部动起来,让人物看起来仿佛正在唱歌。 除此以外,Wav2lip还可以直接将动态的视频,进行唇形替换,输出与目标语音相匹配的视频,如此一来,我们就可以通过AI直接定制属于自己的口播形象了。
声音好听,颜值能打,基于PaddleGAN给人工智能AI语音模型配上动态画面(Python3.10)
|
机器学习/深度学习 敏捷开发 人工智能
CVPR 2022 | 高质量捕捉人物动作,网易互娱AI Lab提出高效视频动捕技术
CVPR 2022 | 高质量捕捉人物动作,网易互娱AI Lab提出高效视频动捕技术
524 0
|
人工智能 开发框架 供应链
智能AI绘画系统对接丨ai绘画数藏模式系统开发功能版及源码
智能AI绘画系统对接丨ai绘画数藏模式系统开发功能版及源码
435 0
|
Rust 图形学
【3D游戏建模全流程】使用Maya制作赛车模型
本文分享了使用Maya制作越野赛车模型的过程,并展示如何制作橡胶轮胎。
223 0
【3D游戏建模全流程】使用Maya制作赛车模型
|
数据可视化 流计算 智能硬件
前沿︱视觉语言:可穿戴设备通知系统的福音
前沿︱视觉语言:可穿戴设备通知系统的福音
前沿︱视觉语言:可穿戴设备通知系统的福音
|
机器学习/深度学习 人工智能 算法
别看乐高模板了!利用计算机视觉技术,这个软件几秒就识别满地积木,还能激发灵感
别看乐高模板了!利用计算机视觉技术,这个软件几秒就识别满地积木,还能激发灵感
369 0

热门文章

最新文章

下一篇
开通oss服务