小样本业务评测如何兼顾覆盖与成本?

小样本业务评测最容易陷入两难：题目太少，担心漏掉关键场景；题目一多，标注、运行和复核成本又压不住。我觉得关键不是把每类情况都平均塞几道，而是先问清楚：哪些错误一旦发生，业务最不能接受？

我会先把任务按真实使用场景和失败类型拆开，再优先覆盖三类样本：日常高频请求、容易误解的边界请求，以及出错代价较高的请求。它们不必数量相同。高频场景能看基本表现，边界场景能暴露约束是否被遵守，高风险场景则检验模型会不会在不确定时乱答或采取错误动作。样本少时，覆盖业务风险，比追求表面上的类别齐全更重要。

随后，把评测条件固定下来：输入材料、提示方式、评分规则和运行配置尽量一致。否则模型分数的变化，可能来自题目或评判方式变了，而不是模型真的进步。评分也不必一味追求复杂：能明确判断对错的先用规则；开放回答则预先写清什么算合格，并把有争议的结果留给人工复核。省下的自动评分成本，若换来含糊结论，就不划算。

小样本还有个容易被忽略的问题：偶然性。某次结果好，不代表换一批材料仍然好；如果模型之间的差距很小，就别急着排出高低。可以对重点样本重复运行，并记录错误类型和波动，而不是只留下一个总分。若失败集中在某类场景，再补这一类新样本；不要盲目扩充所有题目。

我更愿意把小样本看成筛查工具，而不是最终验收。先用少量、但风险分布清楚的题目淘汰明显不合适的方案，再把预算花在最可能改变决策的补测上。这样既不假装样本能代表一切，也能让每一道题都回答一个实际问题。