推测解码

大模型逐词生成会拉长等待时间，推测解码让成本较低的草稿模型先提出候选，再由目标模型集中验证，试图减少串行计算轮次。但候选接受率高不等于一定更快：草拟、验证、缓存和调度都有成本，高并发下收益也可能缩水。文章梳理保持目标模型输出分布所需的校验条件，并指出真实负载测试为何要同时关注延迟、吞吐量与显存占用。这笔计算交换究竟何时划算？