单位任务成本的构成与核算

模型调用单价在降,AI 账单却常常在涨,这个反差在企业预算复盘时越来越常见。原因不难找:模型价格只覆盖一次推理,而企业实际承担的是一项任务从发起到被业务接受的完整成本。把视角从“每次调用”切换到“每个成功任务”,才可能看清钱到底花在哪。

单位任务成本由什么构成

一个可用的核算口径至少包含六层:模型调用费用、工具调用与检索费用、失败重试消耗、人工接管成本、延迟造成的业务损失,以及共享平台的摊销。这些成本并非线性叠加——Agent 类任务需要多轮拆解、工具调用和结果校验,消耗会随轮次、上下文长度和并行度上升。如果只盯着每百万 Token 的单价,后面这几层基本是隐形的。

由此可以定义“每个成功任务的成本”:把上述各项汇总后,除以成功完成的任务数。这个指标能直接回答预算评审真正关心的问题——预算增长来自业务扩展,还是来自失败重试和重复建设。

核算要分层,不能一张总表到底

实践中建议拆成四个口径。模型调用层关注输入输出与缓存单价、批量折扣,用于模型选型和容量规划;单项任务层关注单位任务成本、失败重试率、人工接管率和端到端延迟,用于预算评审和业务复盘;共享平台层归集推理平台折旧、检索与向量库成本、运维人力,用于识别重复建设;业务结果层看任务成功率、业务采纳率和单位产出成本,回答经营价值问题。四层解决的问题不同,互相替代不了。

采购和合同环节同样要改口径。除了价格,首令牌时间影响交互体验,吞吐量和综合成本决定批处理任务的性价比。谈判时应关注计价透明度、输入输出与缓存是否分开定价、失败重试是否重复计费、用量弹性与退出条款。把单位任务成本写入验收指标,比单纯约定折扣更能约束总支出。

两个容易踩的坑

一是把 Token 单价当作总成本。单价下降但重试和人工接管比例上升时,单位任务成本完全可能不降反升。二是用席位制预测智能体用量。传统软件按人头订阅,用量可预测;智能体按任务、尝试次数和轮次消耗资源,少量用户也可能产生大量调用,预算模型要从“人数乘单价”转向“任务量乘单位任务成本”。

落地不必一步到位。选一条已上线业务线,连续四周记录任务量、成功任务数、重试次数、人工接管比例和端到端延迟,先跑出基线;再把模型调用、任务运营和平台成本分开归集,确认增长发生在哪一层。有了这两步,预算讨论才有共同的计量语言。

文章版权归作者所有,未经允许请勿转载。

本文链接:https://www.chatcpt.com.cn/thread/cost-per-successful-task/

参与讨论

0 条评论