论文笔记之：Natural Language Object Retrieval

论文笔记之：Natural Language Object Retrieval

2017-07-10  16:50:43  

　　本文旨在通过给定的文本描述，在图像中去实现物体的定位和识别。大致流程图如下：

　　此处，作者强调了一点不同之处：

　　Natural language object retrieval differs from text-based image retrieval task as it involves spatial information about objects within the scene and global scene context. （自然语言物体的检索 与 基于文本的图像检索任务 是不同的，因为其涉及到：在场景内部的关于物体的空间信息，以及全局的场景信息）。本文通过 recurrent network 来实现 query text, local image descriptor, spatial configurations and global context features，然后输出是：文本和 proposal 之间的相符程度的得分。与此同时，也可以将 visual-linguistic knowledge 从 image caption 领域借鉴到我们的任务当中。

　　作者发现：简单的将 text-based image retrieval system 来直接做这个任务，得到的效果并不是非常好，因为自然语言物体检索涉及到 物体的空间信息 以及 场景中全局信息。利用 RNN 作为 scoring function有如下的好处：

　　1. 整个模型可以通过 反向传播 来进行end to end 的训练，使得 visual feature extraction 和 text sequence embedding 可以相互影响。实验表明这种方向比 bag of words 效果要好很多。

　　2. 可以很简单的利用 大型 image-text datasets 来学习一个 vision-language model 来协助该任务的完成。

　　但是，这个任务有一个比较大的挑战是：the lack of large scale datasets with annotated object bounding box and description pairs. 

　　To address this issue, we show that it allows us to transfer visual-linguistic knowledge learned from the former task to the latter one by first pretraining on the image caption domain and then adapting it to the natural language object retrieval domain. 
　　这种 pre-training 和 adaptation 的过程不但提升了性能，而且避免了过拟合，特别是当 the object retrieval training dataset 比较小的时候。

　　本文的网络结构 和 大致示意图 如下所示：

　　训练所用到的损失函数为： 

 　　简单而言，其实就是:

　　利用给定的图像，BBOX的位置信息，以及检索的语言。。。

　　然后基于此给出一个网络结构的预测，在去比较该结果和给定的语言描述之间的 loss 。。。

　　从而完成整个网络的训练。。。。

　　在测试的时候，就可以将 proposal 替换掉 原始 GT image  patch，然后就可以利用这个语言模型，给各个 proposal 进行打分了。。。

　　最终选择一个最佳的 proposal 作为检测的结果。。。