模型蒸馏

大模型能力虽强，却难以直接装进手机、摄像头或车载设备，算力、内存与能耗都是现实门槛。模型蒸馏试图让一个体量更小的学生模型通过模仿教师模型的输出分布来继承能力，其中软标签传递的不只是答案，还有类别之间的相对关系。但学生容量有限，遇到长链条推理或教师本身出错的样本时，能力差距会如何显现？