近日，在 AI 顶会 NeurIPS 2021 的图像相似度挑战赛中（Image Similarity Challenge），来 自腾讯在线视频 BU-AI 技术中心的团队，在 Matching Track 赛道战胜来自全球 1000 多支队伍，荣获季军。
相似图像检索，该比赛中主要指图像的拷贝检测，是计算机视觉领域的一项经典任务。其目的是判断查询图像（query），是否由库存（reference）中的任何图像编辑或攻击变换而来。该技术目前已广泛应用于互联网服务中，它作为社交媒体以及内容平台上的一个重要组成部分，主要用于低质内容识别、重复内容识别、版权保护等一系列内容审查领域，从而有助于互联网平台提供更加安全和可信的内容。
近年来，随着社交媒体以及内容平台的发展，图像拷贝检测面临了新的挑战点：大规模检索与复杂的攻击。以 Facebook 网站为例，每天将产生数十亿张新图片，如何快速的在较大库存检测这些新图片成为一个挑战。另外，查询图像在现实中会受到多种攻击变换，如滤镜、遮挡、裁剪、模糊、手绘等等。导致检测工作仅靠人工无法完成，需要算法来帮助进行自动的标记，因此大规模检索变得越来越重要和实用。
图像变换攻击示例
为了进一步促进图像拷贝检测技术的研究，Facebook AI 在顶会 NeurIPS 2021 上举办了图像相似度挑战赛（Image Similarity Challenge），比赛共分为 Matching Track 和 Descriptor Track 两个赛道。同时，比赛提供了一个具有挑战性的数据集，该数据集来自于真实的社交媒体平台，主要由一百万库存图片、五万查询图片，以及一百万训练集组成，它可以作为大规模图像相似性检测的新基准。本次比赛吸引了来自腾讯、百度、阿里、旷世、三星、Intel、DeNA 等国内外知名公司及研究机构，共 1000 多支队伍参加。
- 比赛官网：https://sites.google.com/view/isc2021/program
- nips 比赛介绍：https://nips.cc/Conferences/2021/CompetitionTrack
腾讯 imgFp 团队获得季军
在本次 NeurIPS 2021 图像相似度挑战赛中，来自腾讯的 imgFp 团队针对上述挑战点，设计了一种结合全局特征与局部特征双路召回的高效检测算法，该算法能够以较高的鲁棒性来应对绝大多数的变换攻击，并且实用性强，单图全流程检索耗时约 2-3 秒，最终获得 Matching Track 赛道季军。
最终榜单：https://www.drivendata.org/competitions/84/competition-image-similarity-1-final/leaderboard/
1、鲁棒的单一模型
imgFp 团队采用以 Swin-Transformer 为主干网络的模型来提取查询图像的全局特征，并基于 EsViT 的方法，设计了一种多阶段的自监督训练方式，以充分发挥网络的自注意力机制。
为了提高模型的抗攻击能力，imgFp 团队在训练过程中设计了超过 40 种数据增强方式来生成正样本对，充分模拟各种图像攻击变换，并在训练过程中使用 memory bank 来达到扩充 batch size 的效果，充分挖掘难分负样本。
最终，imgFp 团队训练得到一个鲁棒的单一网络模型，来对每张查询图像计算生成一个 256 维的特征向量。全局特征检索结果可视化如图所示，对于很多极端的攻击干扰依然可以获得较好的检索排序结果。
2、双路召回，应对极端样本
imgFp 团队发现，全局特征仍然较难表征某些极端的攻击变换，例如，较大范围的裁剪或者作为很小的区域叠加在背景图像上等，如图所示。这导致了仅靠全局特征的召回率偏低。
然而，这些极端样本在局部上具有较强的一致性，因此 imgFp 团队提出了结合局部特征做双路召回的方案，并使用 GPU Faiss 来加速大规模局部特征的搜索，最后采用 KNN-matching 的方法对两路召回的结果进行融合并计算相似分数。
方法的整体 pipeline 如图所示，imgFp 团队发现，这种结合全局特征与局部特征的双路召回方式，能够发挥两种特征的互补优势，从而实现应对大多数攻击变换的作用。
详细方法见论文：https://arxiv.org/abs/2112.02373
团队简介
imgFp 团队的参赛成员均来自于腾讯在线视频 BU 的 AI 技术中心。该团队作为腾讯 PCG 视频关系中台的主要建设者，自 2014 年开始，便积极探索视频间关系的建立与应用，并积累了丰厚的技术和经验。团队所研发的视频排重、图文排重、短带长等技术，已应用于公司内多项产品和业务，包括腾讯视频、腾讯微视、腾讯新闻、腾讯看点，以及微信视频号。
据团队成员介绍，本次比赛，是团队在业务之余的一次探索，初衷是想验证其算法在高难度数据集上的表现。相较于第一和第二名的方法，他们的方法虽然精度略低，但却更加适用于线上生产环境。目前，图像拷贝检测技术已经在互联网服务中发挥了重要价值，但仍面临着大规模检索和复杂攻击的挑战，团队将继续钻研和打磨技术，不断助力内容生态，积极创造更多社会价值。
