开发者社区> 问答> 正文

知识蒸馏中的soft label是怎么操作的?

知识蒸馏中的soft label是怎么操作的?

展开
收起
Dons 2021-12-03 21:38:30 487 0
1 条回答
写回答
取消 提交回答
  • 通过引入 teacher network(复杂网络,效果好,但预测耗时久) 相关的软标签作为总体 loss 的一部分,来引导 student network(简单网络,效果稍差,但预测耗时低) 进行学习,来达到知识的迁移目的。

    2021-12-03 23:20:26
    赞同 展开评论 打赏
来源圈子
更多
收录在圈子:
+ 订阅
关于阿里的机器智能创新技术均呈现于此.
问答排行榜
最热
最新

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载