开发者社区 问答 正文

知识蒸馏中的soft label是怎么操作的?

知识蒸馏中的soft label是怎么操作的?

展开
收起
Dons 2021-12-03 21:38:30 528 分享 版权
来自: 阿里机器智能
1 条回答
写回答
取消 提交回答
  • 通过引入 teacher network(复杂网络,效果好,但预测耗时久) 相关的软标签作为总体 loss 的一部分,来引导 student network(简单网络,效果稍差,但预测耗时低) 进行学习,来达到知识的迁移目的。

    2021-12-03 23:20:26
    赞同 展开评论