一个榜单的第二名,有时比第一名更能说明问题。2026 年 11 月 10 日 Gemini 4 Carbon 扩大开放范围的同时,新评估基准 MKA 进入公众视野,Carbon 在其中位列第二。对关注模型选型的人来说,真正值得拆解的不是排名本身,而是这个基准测什么、可信到什么程度,以及它能支撑哪一类决策。
据现有信息,MKA 覆盖 10 个行业的 200 个专家构建任务,涉及蓝图等专业材料,任务集本身并不公开。这一定位明显区别于短问答和代码补全类基准:它试图衡量模型在跨行业、长链条、需要理解专业材料的工作中的表现。独立追踪平台 BenchLM 将 Carbon 放入指数后给出 87.91 分,排在第二;第一名是 Claude Fable 5.2,得分 91.41。
与厂商自测对照,口径差异相当清楚。Google 自己的跑分表显示 Carbon 在 17 项基准中领先 15 项,但在 FrontierSWE 2 上,第三方数据显示 GPT-6 Astra 以 65.5% 领先 Carbon 的 61.2%。同一模型在不同口径下名次并不一致,这不必然是矛盾,而是评测目标与任务分布不同带来的正常结果。理解这一点,比记住具体分数更重要。
由专家构建真实任务的好处是贴近业务复杂度,代价则是不可复现。外部研究者无法用同一任务集验证结果,榜单的区分度和稳定性只能依赖发布方的方法论说明。另一个常被忽略的维度是成本口径:Artificial Analysis 估算 Carbon 单次评估任务成本约 7.76 美元,Argon 约 7.68 美元,GPT-6 Astra 约 6.25 美元。这些是估算值,不是用户账单,但把排名和单任务成本并列来看,才更接近采购者真正面对的画面——能力与开销往往不是同一个方向。
MKA 更适合充当筛选漏斗的第一层,而不是最终依据。企业采购者可以用它缩小候选范围,再在自己的业务任务上做小规模对比测试;测试需要记录完整任务消耗、重试次数、超时率和人工复核成本,而不是只盯 token 单价。对开发者而言,11 月 30 日之前的促销价窗口降低了迁移试错成本,但 12 月 1 日价格翻倍后,原有预算模型必须重算,尤其是高 thinking 级别可能带来更多 token 消耗的情况。
基准排名回答的是“在别人设计的任务上谁更强”,采购决策要回答的是“在我的任务上是否足够强、成本是否可控”。这两者之间,始终隔着一轮属于自己的评测。
文章版权归作者所有,未经允许请勿转载。
参与讨论
暂无评论,快来发表你的观点吧!