1引言
摘要：基于关键点的检测器性能还不错，不过匹配错关键点的情况还是经常发生，并极大地影响了探测器的性能。作者在这篇文章中提出一种使用向心偏移来对同一实例中的角点进行配对的CentripetalNet向心网络。向心网络可以预测角点的位置和向心偏移，并匹配移动结果对齐的角。结合位置信息，这种方法比传统的嵌入方法更准确地匹配角点。角池将边界框内的信息提取到边界上。为了使这些信息在角落里更容易被察觉，作者又设计了一个交叉星可变形卷积网络来适应特征。除了检测，通过为作者的CentripetalNet安置一个mask预测模块来探索anchor-free检测器上的实例分割。在MS-COCO test-dev上，CentripetalNet不仅以48.0％的AP胜过所有现有的anchor-free检测器，而且以40.2％的MaskAP达到了与最新实例分割方法相当的性能。
代码将在https: // github.com/kiveedong/petalnet上提供。
2思路创新点
- 传统方法：
主要采用关联嵌入（associative embeding）法对角点进行配对，需要网络对每个角点额外学习一个嵌入（embeding），判断两个角是否属于同一个边框。以这种方式，如果两个角来自同一个box，它们将有类似的嵌入，否则，它们的嵌入将是非常不同的。基于关联嵌入的检测器在目标检测中取得了良好的性能，但也存在一定的局限性。
- 缺点：
首先，传统方法在训练过程中运用推拉损失来学习每个点的嵌入。推损（Push loss）将在不属于同一物体的点之间计算，以使它们彼此远离。而拉损（Pull loss）只考虑来自同一物体的点之间的拉损。因此，在训练过程中，网络实际上是被训练来寻找对角线上所有潜在点中唯一的匹配点。它对异常值高度敏感，当一个训练样本中有多个相似对象时，训练难度会急剧增加。
其次，嵌入预测是基于外观轮廓，没有使用位置信息，因此如图1所示，如果两个物体有相似的外观，即使相距很远，网络也倾向于预测它们的相似嵌入。
- 基于上述考虑，作者提出两点创新：
- 一种新颖的向心偏移角匹配方法
向心偏移：给定一对角点，作者定义一个二维向量，即向心位移，对于每个角，向心位移编码空间偏移从角点落到盒子中心点。这样，每个角都可以根据向心位移产生一个中心点，如果两个角属于同一个边框，那么它们产生的中心点应该是相近的。匹配的质量可以用两个中心之间的距离和匹配的几何中心来表示。结合每个角点的位置信息，与关联嵌入方法相比，该方法对异常值具有较强的鲁棒性。 - 一种能够更好地预测向心偏移的交叉星形可变形卷积模块
交叉星可变形卷积，不仅可以学习一个大的感受野，而且还可以学习“cross stars”的几何结构。可以观察到角池（corner pool）输出的feature map中有一些“cross stars”。
