看到“效率提升12倍”这种说法,我第一反应不是兴奋,是先去翻它到底怎么算的。这次微软的 MAI-Base-2 就是个典型例子:数字很响,但口径得掰开看。

微软说,按缩放定律拟合估算,达到 DeepSeek-V4-Pro-Base 同等评测水平,它这套训练配方所需算力只有对方的约四分之一到十二分之一。注意关键词——“拟合估算”。这不是两个模型在同一批硬件上同场跑出来的成绩,而是拿缩放曲线反推出来的配方效率。说白了,它回答的是“如果按我的方法造,理论上能省多少”,而不是“我已经当着你的面省了这么多”。
而且对比对象里,Kimi、Qwen、MiMo 那几款只有后训练版本可用,微软自己在文中也标了这个限制。预训练模型和后训练模型放一起比效率,本身就不是完全对等的比较。
那这个数字完全没意义吗?也不是。它至少说明微软在训练配方上做了实事:全 MoE 层结构、无丢弃的专家调度把专家层利用率从24%提到35%、激活梯度裁剪防长程训练异常,还有从预训练阶段就把视觉数据纳进来。这些是能落地的东西,不是纯话术。
我的建议很简单:看到“N倍效率”,先问三件事——是实测还是推算,对比对象是否同口径,有没有独立第三方验证。MAI-Base-2 目前还在后训练阶段,完整成绩没公布,权重也不开源,只走 Foundry 授权。在独立评测出来之前,它是个值得关注的研发里程碑,但别急着当成能直接上手用的成品。
文章版权归作者所有,未经允许请勿转载。
本文链接:https://www.chatcpt.com.cn/thread/efficiency-claim-scaling-law/
参与讨论
暂无评论,快来发表你的观点吧!