开发者社区> 问答> 正文

模型蒸馏结构是什么样子的?

已解决

模型蒸馏结构是什么样子的?

展开
收起
胡嘞嘞 2022-07-11 15:08:22 622 0
1 条回答
写回答
取消 提交回答
  • 推荐回答

    如下图即为LRC-BERT 结构,对比学习作用在中间层表达使student 能够学习到teacher 潜在语义信息。举例来说,对于student表达ZS 与teacher 特征表达ZT 靠近,而要远离负例n1T 和n2T。

    image.png

    以上内容摘自《高德技术2020年刊合集》电子书,点击https://developer.aliyun.com/topic/download?id=1135可下载完成版

    2022-07-12 13:55:22
    赞同 展开评论 打赏
来源圈子
更多
收录在圈子:
阿里云开发者社区官方技术圈,用户产品功能发布、用户反馈收集等。
问答排行榜
最热
最新

相关电子书

更多
展心展力MetaApp:基于DeepRec的稀疏模型训练实践 立即下载
神经网络结构设计 立即下载
机器能理解上下文吗 RNN和LSTM神经网络的原理及应用 立即下载