带你读《2022技术人的百宝黑皮书》——SIGIR2022 | 流行度偏差如何利用？ 探索解耦域适应无偏召回模型(3) https://developer.aliyun.com/article/1247001?groupCode=taobaotech
正则化缓解长尾分布差异
域对齐 虽然FDM已经提取了解耦出流行度表示的商品属性表示，但是由于长尾的数据稀疏性，我们认为流行度偏差仍然存在。相比于训练充足的热门商品，长尾商品并不能获得足够的学习。借鉴域适应的思想，我们额外引入了埋
点中的未曝光商品（大部分是长尾商品），采用常见的最大均值差异（MMD），来实现长尾和热门商品的分布对齐。
其中，
表示核函数，
表示希尔伯特空间。需要注意的地方有两点，一个该损失的目标样本商品属性表示 
是停止梯度的，防止对齐任务对主任务造成影响；另一个是为了保证分布对齐不会产生负迁移，会额外对未曝光样
本引入基于精排分的知识蒸馏。直观来讲，该损失函数促使热门商品属性向量中心与长尾商品属性向量中心相互靠近，从而实现分布对齐。
实例对齐 由于日志中长尾偏移的存在，所学习到的商品向量空间并不能很好的反映商品间的隐藏相似性关系。例如，在商品空间中，一个热门商品可能远离与它同类目的长尾商品，却与不同类目的热门商品靠近。我们认为有效共现次数越多的商品对应该有更相似的商品向量表示。为了让模型捕获这种结构化信息，我们在商品塔额外引入了用户点击行为序列。基于对比学习，约束同一个用户点击的商品向量表示将会更接近。具体的， 
当作正样本，batch内的其他目标商品当作负样本
，因此，商品相似度损失可以被定义为：
其中， 
，
为温度系数，
表示当前用户的行为序列， 
表示对应商品的曝光频率。
带你读《2022技术人的百宝黑皮书》——SIGIR2022 | 流行度偏差如何利用？ 探索解耦域适应无偏召回模型(5) https://developer.aliyun.com/article/1246999?groupCode=taobaotech
