蒸馏出的小模型能超过教师吗

蒸馏领域有一个常被反复追问的问题：学生模型究竟能不能超过教师？直觉上答案是否定的，因为蒸馏的本质是模仿，模仿的上限就是教师给出的信号质量。但如果把这个问题放在具体的任务和训练条件里看，答案会变得复杂得多。

先要厘清"超过"指的是什么。如果指的是在教师擅长的任务上取得更高的判断精度，那确实很难。教师的输出是学生唯一的学习目标，教师在某些样本上判断错误，学生很可能把这些错误一并学走。模仿关系决定了能力传递的方向，学生不会凭空获得教师没有的判断力。

但"超过"还有另一种含义：在特定场景下取得更好的综合表现。这里的空间要大得多。教师模型通常是为通用能力训练的，参数量大、覆盖面广，但在某个垂直任务上未必是最优解。如果教师本身带有大量与学生任务无关的负担，而学生只集中学习这一个领域的判断方式，那么学生在这个具体任务上反而可能表现得更稳定、更高效。

真正决定差距的，是几个变量的组合。教师本身有多强、学生容量有多大、任务有多复杂、训练数据是否充分，这些因素共同作用。学生在教师表现最好的任务上最容易接近教师，因为软标签在这些任务上信息最清晰、最一致。而当任务需要长链条推理、大量世界知识或精细的上下文理解时，小模型受限于容量，往往会出现更明显的下滑。如果学生容量过小，即使教师很强，也可能出现"教了但装不下"的情况。

软标签在这里扮演了关键角色。教师输出的不是一个非此即彼的硬标签，而是一个概率分布。比如判断一张图是猫还是狗，教师可能给出猫 0.9、狗 0.08、狐狸 0.02。这个分布透露了教师对类别之间相似性的判断，学生学到的不是孤立的正确答案，而是一张关于"哪些答案更接近、哪些更遥远"的相对关系图。这种信息密度更高，也更容易让小模型在有限容量下抓住任务的关键结构。从这个角度看，学生能否逼近甚至局部超过教师，取决于软标签里承载的结构信息是否被充分吸收。

实践中确实存在学生局部超过教师的情况，但通常有前提：任务边界清晰、教师在该任务上表现可靠、学生容量与任务复杂度匹配。有些做法会引入真实标签、数据筛选或多次蒸馏来缓解教师错误的传递，但这不改变模仿关系的基本方向。它更像是在模仿的基础上做修正，而不是让学生独立探索出超越教师的新知识。

所以更准确的表述是：学生很难在教师的强项上全面超越教师，但在特定任务、特定约束下，完全可能取得比教师更适合落地的表现。把蒸馏放回工程视角，它解决的是"能力如何以更低成本落地"，而不是"如何造出更强的模型"。教师负责探索能力上限，学生负责把其中一部分能力带到真实设备和真实业务里。理解这条分工线，就能理解学生超过教师这件事为什么既可能、又有边界。