知识蒸馏算法原理+综述

知识蒸馏是人工智能领域重要的模型压缩方法，在自然语言处理、计算机视觉、多模态学习、预训练大模型领域有广泛应用。通过师徒传授，将大规模教师模型的知识传递给轻量化学生网络，实现模型压缩和部署。
子豪兄将带领大家了解知识蒸馏核心算法，透视知识蒸馏机理，纵览知识蒸馏前沿热点，精读知识蒸馏开山之作：Distilling the knowledge in a neural network，通过Pytorch实现MNIST数据集的知识蒸馏，介绍开源算法库MMRazor、MMDeploy、RepDistill。

ReadPaper论文链接及论文十问解答：https://readpaper.com/paper/1821462560
OpenMMLab：https://openmmlab.com/
MMRazor：https://github.com/open-mmlab/MMRazor
MMDeploy：https://github.com/open-mmlab/MMDeploy
RepDistill：https://github.com/HobbitLong/RepDistiller