AI案例效果评估的四个口径

案例集里的效果数字看上去都很有说服力，但要把它们横向比较，问题往往不在模型，而在口径。同样是“效率提升”或“准确率上升”，背后的基线、统计范围、分母和因果链可能完全不同。评估 AI 案例时，先对齐这四件事，比追问用了什么模型有用得多。

基线选的是谁

对照的是改造前的历史数据，还是同期的对照组？历史对比最容易把季节性波动、业务量变化一并算成 AI 的功劳。制造业的预测性维护尤其典型：最后拿出的“故障减少”，可能来自同期设备更新或检修制度调整，与模型关系不大。基线不清，后面所有数字都失去参照。

范围是单点还是端到端

一个环节提速四成，如果它只占全流程十分之一的时间，端到端提升不过几个百分点。金融领域常见类似的混读：预资格确认几分钟完成，被解读成正式授信审批也压缩到几分钟，实际上这是两个流程、两套责任。评估时必须说明指标落在哪一段，以及这段在整条链路里占多大权重。

分母和期间是否恒定

是每万次请求的成本，还是全年总投入？是上线后三个月，还是满一年？生成式任务的推理成本与使用频次强相关，短期数据天然偏乐观。更隐蔽的是人工成本：文档摘要、病历录入这类场景，如果不把复核和纠错时间计入工作量，效率提升会被系统性高估。

因果能不能站住

这是最容易失守的一环。模型准确率高，不等于业务指标改善；拦截率上升，也可能只是把成本转移到了人工复核队列。判断型场景要把漏报与误报分开统计，并固定对比期间和目标系统。案例中相当一部分“效果”其实是流程重组的功劳，AI 只是让重组变得可行。

四类任务的评估重点并不相同：判断型看漏报、误报与责任归属；预测型看提前量和误报带来的核对成本；生成型看含纠错的端到端耗时；交互型看解决率、转人工率与单次成本。人的角色也不同，判断型由人复核并承担最终责任，生成型由人校对并担责，这种设计不是过渡方案，而是前提。

管理者翻到与自己业务最接近的案例时，值得先问一句：这个指标的基线、范围、分母期间和因果链，换成我们的数据量还能不能成立。条件对得上，效果才有复现的可能；对不上，再漂亮的数字也只是一次性成果。