带你读《2022技术人的百宝黑皮书》——多模态技术在淘宝主搜召回场景的探索(3) https://developer.aliyun.com/article/1246961?groupCode=taobaotech
3.Query Item Classification (QIC)：一个Query下点击最多的Item作为正样本，Batch内其他样本作为负样本。QIC将Query塔和Item塔的[CLS] token通过线性层降维到256维，再做相似度计算得到预测概率，最小化交叉熵Loss：
其中 
的计算可以采取多种方式：
其中 
表示相似度计算， 
表示温度超参数， 
和m分别表示缩放因子和松弛因子
4.Query Item Matching (QIM)：一个Query下点击最多的Item作为正样本，Batch内与当前Query相似度最高的其他Item作为负样本。QIM使用跨模态Encoder的[CLS] token计算预测概率，最小化交叉熵Loss：
5.Query Image Matching (QIM2)：在QIM的样本中，Mask掉Title，强化Query与Image之间的匹配。QIM2最小化交叉熵Loss：
模型的训练目标为，最小化整体Loss：
在这5种预训练任务中，MLM任务和MPM任务位于Item塔的上方，建模Title或Image的部分Token被Mask后，使用跨模态信息相互恢复的能力。Query塔上方有独立的MLM任务，通过共享Query塔和Item塔的Encoder，建模Query与Title之间的语义联系与Gap。QIC任务使用双塔内积的方式，将预训练和下游向量召回任务做一定程度的对齐，并用AM-Softmax拉近Query的表示与Query下点击最多Item的表示之间的距离，推开Query与其他Item的距离。QIM任务位于跨模态Encoder的上方，使用跨模态信息建模Query和Item的匹配。出于计算量的考虑，采用通常NSP任务的正负样本比1:1，为了进一步推开正负样本之间的距离，基于QIC任务的相似度计算结果构造了难负样本。QIM2任务与QIM任务位于同样的位置，显式建模图像相对于文本带来的增量信息。
向量召回模型
建模方法
在大规模信息检索系统中，召回模型位于最底层，需要在海量的候选集中打分。出于性能的考虑，往往采用User和Item双塔计算向量内积的结构。向量召回模型的一个核心问题是：如何构造正负样本以及负样本采样的规模。我们
的解决方法是：将用户在一个页面内的点击Item作为正样本，在全量商品池中根据点击分布采样出万级别的负样本，用Sampled Softmax Loss在采样样本中推导出Item在全量商品池中的点击概率。
其中 
表示相似度计算， 
表示温度超参数
带你读《2022技术人的百宝黑皮书》——多模态技术在淘宝主搜召回场景的探索(5) https://developer.aliyun.com/article/1246959?groupCode=taobaotech
