备案控制台

游客fhgpbsodlzhda_个人页

游客fhgpbsodlzhda

文章

1

问答

0

视频

0

个人介绍

暂无个人介绍

擅长的技术

获得更多能力

通用技术能力：

暂时未有相关通用技术能力~

云产品技术能力：

暂时未有相关云产品技术能力~

阿里云技能认证

详细说明

文章
问答
视频

发表了文章 2021-09-15

自蒸馏：一种简单高效的优化方式

背景知识蒸馏(knowledge distillation)指的是将预训练好的教师模型的知识通过蒸馏的方式迁移至学生模型，一般来说，教师模型会比学生模型网络容量更大，模型结构更复杂。对于学生而言，主要增益信息来自于更强的模型产出的带有更多可信信息的soft_label。例如下右图中，两个“2”对应的hard_label都是一样的，即0-9分类中，仅“2”类别对应概率为1.0，而soft_label

暂无更多信息

发表了文章 2021-09-15

自蒸馏：一种简单高效的优化方式

正在加载, 请稍后...

滑动查看更多

正在加载, 请稍后...

暂无更多信息

正在加载, 请稍后...

暂无更多信息