OpenPose原理解析

本文涉及的产品
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
全局流量管理 GTM,标准版 1个月
云解析 DNS,旗舰版 1个月
简介: Openpose论文原理总结

openpose是一种实时检测图像中多人的二维姿势的方法 。面临下面三项挑战:

第一,每张图像可能包含未知数量的人,他们可能出现在任何位置或规模。

第二,由于接触、遮挡或肢体衔接,人与人之间的互动会引起复杂的空间干扰,使得身体部分的关联变得困难。

第三,运行时的复杂性往往随着图像中人的数量而增加,使实时性能成为一个挑战 。
1.png
整体流程如下:

  1. 将整个图像作为网络输入,预测出一组身体部位位置的二维置信度图S(如图b)和一组部位亲和域(PAF)的二维矢量场L(如图c,它编码了部位之间的关联程度)。
  2. 通过贪婪推理对置信图和PAF进行解析(如图d),输出图像中所有人物的二维关键点。

其中身体部位的二维置信度图S={S_1, S_2, S_3, ..., S_j},每个部位一个S_j∈R^(w×h)。部位亲和域的二维矢量场L={L_1, L_2,..., L_c},每个肢体一个,L_c∈R^(w×h×2)。

网络架构

2.png
总体结构如图3所示,首先通过特征提取网络F(论文用的VGG-19)进行特征提取,将得到的特征层输入接下来的网络。后续网络被分成两个分支:顶部分支(以米黄色显示)预测置信图,底部分支(以蓝色显示)预测亲和场。

每个阶段都有中间监管,用于补充梯度,解决梯度消失的问题,确保结果不会向着错误的方向发展 。

stage t

在Stage 1,网络接收特征提取网络的输出,产生一组检测置信度映射S1=ρ1(F)和一组部分亲和域L1=φ1(F),其中ρ1和φ1是用于在阶段1进行推理的网络结构。
3.png
在Stage t (t>1),我们将特征提取网络输出的特征层和前一个Stage阶段生成的S(t-1)和L(t-1)连接输入,用来精细化预测。其中ρt和φt是用于在阶段1进行推理的网络结构。

Loss

网络结尾,应用了两个损失函数,分别用于优化身体部位的二维置信度图和部位亲和域的二维矢量场
4.png
如上图所示,4.1.png优化身体部位的二维置信度图,其中4.2.png是真实的置信度图。4.3.png优化部分亲和域,其中4.4.png为真实的部位亲和域的二维矢量场。W(P)是一个掩码,当注释在图像位置P中消失时该掩码使该位置数据失效。
总体的损失函数是:

5.png
了解了上面的网络结构,出现了几个疑问:

1.训练时,基于真实标签的置信度图4.2.png是如何生成的?

部分检测的置信度图 (PCM)

参考文章:https://zhuanlan.zhihu.com/p/360541947

该节解决了上面的第一个问题:训练时,基于真实标签 的置信度图4.2是如何生成的?

当图像只出现一个人时,每个置信度图中有一个峰值,代表一个部位。

6.png
当图像出现多个人时,为每个人每个部位生成单独的置信度图6.1.png,其中j代表部位 j,k代表人k,6.2.png用来控制峰值的扩散。

为什么采用公式(6)呢?

该公式代表着在关节点上的像素的置信度为1,其周围像素点根据距离呈高斯分布扩散,距离越远,置信度越低;距离越
近,置信度越高。 参考文章博主进行了更形象的解释!!!

之后,网络真实输出的置信度图是通过最大运算符对单个可信度图进行的聚合 :
7.png
这里第一次看的时候比较疑惑为什么每个节点取k个人中最大的,这样相当于只有一个人的信息了,如何预测呢?

后来明白了,该小结上面的内容是在训练的时候做的事情,确实是每个部位只生成一个置信度图,一共19个(18个节点加背景图)

在测试时,我们预测置信图,并通过进行非最大限度的抑制来获得身体部位的候选位置 ,如图4第一行所示

8.png
比如通过预测置信度图,并通过非最大限度的抑制获得左眼(e1, e2, e3),左耳(r1, r2, r3, r4),之后通过PAF将节点正确连接起来。

部分关联的部分亲和域 (PAF)

9.png
该部分的输入是一组检测到的身体部位(训练时是标注好的,测试时是通过置信图预测的),如图5(a)中蓝色点和红色点所示。

部分亲和场是一个二维矢量场,保留了肢体支撑区域的位置和方向信息(如图5(c)所示),那么是如何定义的呢?

利用下面的公式:
11.png
这里面,一些定义如下图所示:
10.png
p是第k个人,部位c上的一点。v是p所在的肢体骨骼方向上的单位向量,x_jk是第k个人部位j的位置。那么p点在该肢体上的范围如下:
12.png
到这里我们便得到了部分亲和场,训练时到这里也就可以去计算损失了。
接下来是测试的时候做的事情

我们有了检测到的一组身体部位,结合上面求的部分亲和场,接下来可以计算两个节点之间的肢体关联置信度:公式如下
13.png
其中,d_j2和d_j1是两个关节的坐标。p(u)是通过均匀采样u的方式插值两个候选身体部位和的位置得到的位置 ,如下公式
14.png
节点有了,关系大小可以用置信度表示了,这很像图的特性,下面也是用二分图进行的节点分配:具体如何做的呢?

首先,我们计算出两个部位的所有连接的权重,即E,生成矩阵。

下面举一个例子:假设有左耳={r_1, r_2, r_3, r_4},左眼={e_1, e_2, e_3},通过计算每个耳到眼的E值可以得到下列矩阵(值乱写的,正常应该是通过公式10生成的):
16.png

该二维矩阵代表了一个二分图,类似下面:
15.png
接下来找到权重最大组合
首先明确约束,二分图中所有边不能公用一个顶点,这也很好理解,假设我们r3和e3连接了,即一个人的骨骼配对了,怎么可能再将另外一个人的骨骼节点和这个配对了的人的骨骼节点进行相连呢。

我们就是再上面提到的约束基础上寻找最大的权重组合,如下:
17.png
从该图能看出,与r1置信度最大的是e4,但是却不能被分配到一起,因为e4和r4的置信度更大。为了得到最大的权重总和,必须让r4和e4相连,r1与其余的节点相连。到这里就是所有的思想步骤了!!!

知道了权重最大组合的思想,再看数学表达就容易了很多:

假设我们有多人的身体部位候选集18.png
其中J代表身体部位j,N_j代表身体部位j有多少个候选位置,19.png代表部位j的第m个侯选位置。

我们定义了下面的公式用来判断关节是否连接:

20.png
其中21.png属于(0, 1),代表着关节22.png21.png是否连接。同时为了达到上面二分图所有边不能公用一个顶点的效果,对该公式中的m和n做出约束。

24.png
最后,就是权重最大组合的公式:

25.png
26.png

相关文章
|
1月前
|
存储 算法 Java
解析HashSet的工作原理,揭示Set如何利用哈希算法和equals()方法确保元素唯一性,并通过示例代码展示了其“无重复”特性的具体应用
在Java中,Set接口以其独特的“无重复”特性脱颖而出。本文通过解析HashSet的工作原理,揭示Set如何利用哈希算法和equals()方法确保元素唯一性,并通过示例代码展示了其“无重复”特性的具体应用。
41 3
|
1月前
|
C++
【C++】深入解析C/C++内存管理:new与delete的使用及原理(二)
【C++】深入解析C/C++内存管理:new与delete的使用及原理
|
1月前
|
编译器 C++ 开发者
【C++】深入解析C/C++内存管理:new与delete的使用及原理(三)
【C++】深入解析C/C++内存管理:new与delete的使用及原理
|
1月前
|
存储 C语言 C++
【C++】深入解析C/C++内存管理:new与delete的使用及原理(一)
【C++】深入解析C/C++内存管理:new与delete的使用及原理
|
22天前
|
算法 Java 数据库连接
Java连接池技术,从基础概念出发,解析了连接池的工作原理及其重要性
本文详细介绍了Java连接池技术,从基础概念出发,解析了连接池的工作原理及其重要性。连接池通过复用数据库连接,显著提升了应用的性能和稳定性。文章还展示了使用HikariCP连接池的示例代码,帮助读者更好地理解和应用这一技术。
36 1
|
2天前
|
JavaScript 前端开发 API
Vue.js响应式原理深度解析:从Vue 2到Vue 3的演进
Vue.js响应式原理深度解析:从Vue 2到Vue 3的演进
18 0
|
27天前
|
数据采集 存储 编解码
一份简明的 Base64 原理解析
Base64 编码器的原理,其实很简单,花一点点时间学会它,你就又消除了一个知识盲点。
68 3
|
8天前
|
API 持续交付 网络架构
深入解析微服务架构:原理、优势与实践
深入解析微服务架构:原理、优势与实践
12 0
|
9天前
|
存储 供应链 物联网
深入解析区块链技术的核心原理与应用前景
深入解析区块链技术的核心原理与应用前景
|
9天前
|
存储 供应链 安全
深度解析区块链技术的核心原理与应用前景
深度解析区块链技术的核心原理与应用前景
18 0

推荐镜像

更多