开发者社区 问答 正文

由soft label可以看出蒸馏有哪些优点?

由soft label可以看出蒸馏有哪些优点?

展开
收起
Dons 2021-12-03 21:48:12 459 分享 版权
来自: 阿里机器智能
1 条回答
写回答
取消 提交回答
  • (1)学习到大模型的特征表征能力,也能学习到one-hot label中不存在的类别间信息。

    (2)具有抗噪声能力,如下图,当有噪声时,教师模型的梯度对学生模型梯度有一定的修正性。

    (3)一定的程度上,加强了模型的泛化性。

    image.jpeg

    2021-12-03 23:20:27
    赞同 展开评论