带你读《2022技术人的百宝黑皮书》——多模态技术在淘宝主搜召回场景的探索(1) https://developer.aliyun.com/article/1246963?groupCode=taobaotech
技术问题与解决思路
在主搜召回场景中应用多模态技术，有两个主要问题需要解决：
1.多模态图文预训练模型一般融合图像、文本两种模态，主搜由于有Query的存在，在原本商品图像、标题的图文模态基础上，需要考虑额外的文本模态。同时，Query与商品标题之间存在语义Gap，Query相对短且宽泛，而商品标题由于卖家会做SEO，往往长且关键词堆砌。
2.通常预训练任务与下游任务的关系是，预训练采用大规模无标注数据，下游采用少量有标注数据。但对于主搜召回来说，下游向量召回任务的规模巨大，数据在数十亿量级，而受限于有限的GPU资源，预训练只能采用其中相对少量的数据。在这种情况下，预训练是否还能对下游任务带来增益。
我们的解决思路如下：
1.文本-图文预训练：将Query和商品Item分别过Encoder，作为双塔输入到跨模态Encoder。如果从Query和Item双塔来看，它们在后期才进行交互，类似于双流模型，不过具体看Item塔，图像和标题两个模态在早期就进行了交互，这部分是单流模型。所以，我们的模型结构是区别于常见的单流或双流结构的。这种设计的出发点是：更有效地提取Query向量和Item向量，为下游的双塔向量召回模型提供输入，并且能够在预训练阶段引入双塔内积的建模方式。为了建模Query与标题之间存在的语义联系与Gap，我们将Query和Item双塔的Encoder共享，再分别学习语言模型。
2.预训练与召回任务联动：针对下游向量召回任务的样本构造方式与Loss，设计了预训练阶段的任务及建模方式。区别于常见的图文匹配任务，我们采用Query-Item和Query-Image匹配任务，并将Query下点击最多的Item作为正样本，将Batch内的其他样本作为负样本，增加采用Query和Item双塔内积方式建模的多分类任务。这种设计的出发点是：使预训练更靠近向量召回任务，在有限的资源下，尽可能为下游任务提供有效的输入。另外，对向量召回任务来说，如果预训练输入的向量在训练过程中是固定不变的，就无法有效地针对大规模数据做调整，为此，我们还在向量召回任务里建模了预训练向量的更新。
预训练模型
建模方法
多模态预训练模型需要从图像中提取特征，再与文本特征融合。从图像中提取特征的方式主要有三种：使用CV领域训练好的模型提取图像的RoI特征、Grid特征和Patch特征。从模型结构来看，根据图像特征和文本特征融合方式的不同，主要有两类：单流模型或双流模型。在单流模型中，图像特征与文本特征在早期就拼接在一起输入Encoder，而在双流模型中，图像特征和文本特征分别输入到两个独立的Encoder，然后再输入到跨模态Encoder中进行融合。
带你读《2022技术人的百宝黑皮书》——多模态技术在淘宝主搜召回场景的探索(3) https://developer.aliyun.com/article/1246961?groupCode=taobaotech
