开发者社区> 问答> 正文

蒸馏样本的进一步扩充是如何进行的 ? 会遇到哪些问题?

蒸馏样本的进一步扩充是如何进行的 ? 会遇到哪些问题?

展开
收起
花开富贵111 2024-06-19 17:23:28 23 0
1 条回答
写回答
取消 提交回答
  • 蒸馏样本的进一步扩充主要包括三种尝试:单独添加引入M个未曝光样本的蒸馏、去掉base中的pv distill loss增加一个N+M+K的蒸馏、保留base的蒸馏loss并添加一个N+M+K的蒸馏。
    在尝试过程中,会遇到:
    一是随机负样本中的未曝光样本的精排分数可能会高于曝光样本,二是未曝光商品的后验P(海选->曝光)=0,难以直接表征从海选到点击的概率。通过分析和实验,最终发现保留base蒸馏loss并添加一个N+M+K的蒸馏方案效果最好。

    2024-06-19 17:38:55
    赞同 1 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载