带你读《2022技术人的百宝黑皮书》——多模态技术在淘宝主搜召回场景的探索(7) https://developer.aliyun.com/article/1246957?groupCode=taobaotech
向量召回实验
我们选取10亿量级有点击的页面，构造了向量召回数据集。在每个页面中包含3个点击Item作为正样本，从商品池中根据点击分布采样出1万量级的负样本。在此基础上，进一步扩大训练数据量或负样本采样量，没有观察到效果的明显提升。
我们的Baseline模型是主搜的MGDSPR模型。以下实验探索了将多模态预训练与向量召回结合，相对于Baseline带来的增益，并通过消融实验给出关键部分的作用。
从这些实验中，我们能得出如下结论：
1.实验7/8 vs 实验6：多模态特征与ID通过FC融合后，在3个指标上都超过了Baseline，在提升Recall@1000的同时，对商品相关性提升更多。在此基础上，加入与Baseline相同的特征，能进一步提升3个指标，并在Recall@1000上提升得更多。
2.实验1vs实验2：只有多模态特征相比于只有ID，Recall@1000更低，但相关性更高，且相关性接近线上可用的程度。说明这时的多模态召回模型，从召回结果来看有更少的BadCase，但对点击、成交的效率考虑得不够。
3.实验3/4/5 vs 实验1/2：将多模态特征与ID融合后，能够在3个指标上都带来提升，其中将ID过FC再与降维后的多模态特征相加，效果更好。不过，与Baseline相比，在Recall@1000上仍有差距。
4.实验7vs实验5：叠加预训练模型的优化后，在Recall@1000、商品相关性上都有提升，类目相关性基本持平。
我们在向量召回模型的Top 1000结果中，过滤掉线上系统已经能召回的Item，发现其余增量结果的相关性基本不变。在大量Query下，我们看到这些增量结果捕捉到了商品Title之外的图像信息，并对Query和Title之间存在的语义Gap起到了一定的作用。
带你读《2022技术人的百宝黑皮书》——多模态技术在淘宝主搜召回场景的探索(9) https://developer.aliyun.com/article/1246955?groupCode=taobaotech
