微软发布2.8万亿参数MAI-Base-2 效率超开源模型12倍
微软 AI 研究团队于2026年10月15日通过官方博客《Frontier Pre-training at Microsoft AI》公布,新一代基础模型 MAI-Base-2 已完成预训练:这是总参数2.8万亿、激活参数800亿的混合专家(MoE)模型,在微软自备的留出评测上超越所有受测开源权重模型,预训练 FLOPs 效率据称比最强开源基础模型 DeepSeek-V4-Pro-Base 高4至12倍,并计划通过 Foundry 向可信伙伴授权权重。
MAI-Base-2关键参数与训练规模
MAI-Base-2 是继6月 MAI-Thinking-1(基于 MAI-Base-1,350亿激活/1万亿总参数)之后微软基础模型路线的又一次跃升。其核心参数如下:
| 项目 | 参数 |
|---|---|
| 总参数 | 2.8万亿 |
| 激活参数 | 800亿 / prompt |
| 架构 | 全 MoE 层(上一代为 MoE+FFN 混合) |
| 训练硬件 | 16000块 NVIDIA GB200 |
| 训练时长 | 38天(2026年8月至9月) |
| 训练数据 | 50万亿 token,其中约18%-20%为图像相关数据 |
| 知识截止 | 约2026年3月 |
训练过程中,平均模型 FLOPs 利用率(MFU)为21%,有效训练时间占比(goodput)达89%。微软特别强调,MAI-Base-2 的训练数据全部来自自有管线的有机数据,不涉及对其他模型的蒸馏,这为其向企业客户提供”数据来源可追溯”的承诺奠定了基础。
超越开源模型的关键技术路线
微软将 MAI-Base-2 的成功归功于三条技术主线:
第一,稳健的缩放阶梯(Scaling Ladder)。微软用不同规模的模型家族配合固定训练配方来评估改动,各阶梯以层数 L 唯一确定其余架构,并在保持”每激活参数训练 token 数(TPP)”恒定的前提下放大模型。为处理小规模多轮训练,团队采用”源缩放”(Source Scaling)技术,人为限制小模型训练样本集合,使各数据集无论训练时长都被重复相同次数,从而可靠预测大模型的训练表现。
第二,模型与基础设施协同设计。MAI-Base-2 完全由 MoE 层构成,改进了 MoE 与 Muon 优化器实现,并引入激活梯度裁剪防止长程训练中的梯度异常。无丢弃的专家调度将专家层利用率从24%提升至35%,大幅压缩了算力浪费。
第三,数据管线的全面升级。微软扩展了数据处理管道,覆盖更多网页内容,强化质量分类、页面分析、去重以及评测集与训练集的去污染;同时将视觉数据从预训练阶段就纳入,采用无编码器 VLM 设置,使模型理解科学图表等视觉密集型任务的能力显著优于前代。
效率对比:4-12倍优势如何理解
最受关注的数字是效率。微软称,按其缩放定律拟合估算,达到 DeepSeek-V4-Pro-Base 相同评测水平,MAI-Base-2 的训练配方所需算力仅为对方的约四分之一到十二分之一。需要明确的是,这并非两款模型在同一算力下同场跑出的成绩,而是用缩放曲线反推的配方效率;对比对象中 Kimi K3、Qwen3.8-2.4T-A95B、MiMo-V2.6-Pro-RL 仅有后训练版本可用,微软在文中也标注了这一限制。
在评测方法上,微软使用与分词器无关的每字节比特数(BPB)对比预训练模型:代码评测使用微软自有代码库,STEM、数学与问答评测则由第三方供应商定制,以降低训练集污染风险。结果显示,MAI-Base-2 在全部留出评测上取得比受测模型更低的 BPB。
商业路径:不开源,走 Foundry 授权
与 Meta 开源 816B 模型的路线不同,微软明确表示不会公开 MAI-Base-2 权重,而是通过 Foundry 向”可信伙伴”授权,并以其为基础驱动新一代 LLM 产品线。这一选择背后是微软对全栈自研的坚持:从训练数据、模型到运行基础设施全部自有,从而可以端到端调优模型与基础设施,实现最低成本下的最佳性能。
对企业客户而言,MAI-Base-2 的卖点不只是参数规模,而是数据来源可追溯、训练不依赖外部蒸馏、推理基础设施与模型同源调优。目前模型正处于后训练阶段,面向用户的完整成绩尚未公布;微软同时表示,MAI-Base-3 的准备工作已经启动。
行业影响与待观察点
MAI-Base-2 的发布是基础模型军备竞赛的最新注脚:当开源阵营通过高效 MoE 不断压低训练成本时,微软选择以”授权制”参与竞争,押注企业客户对数据溯源与合规的需求高于对开放权重的需求。
接下来的关键变量包括:后训练版本能否兑现预训练阶段的效率优势、Foundry 授权的定价与准入标准、MAI-Base-2 衍生模型在真实任务上的独立评测结果。对采购方而言,需要追问的核心问题是:12倍效率提升的具体口径是什么、衍生模型如何授权、每个发布伴随怎样的安全护栏与评测数据。在独立验证出现之前,它首先是一个值得关注的研发里程碑,而非可直接商用的成品。
常见问题(FAQ)
MAI-Base-2有多少参数?
总参数2.8万亿,激活参数800亿,采用混合专家架构,完全由 MoE 层构成。
MAI-Base-2比DeepSeek强在哪里?
微软称其在涵盖科学、编程、数学的内部基准上超越 DeepSeek-V4-Pro-Base,且预训练 FLOPs 效率据称高出4至12倍。
MAI-Base-2是开源模型吗?
不是。微软计划通过 Foundry 向可信伙伴授权权重,不公开开放下载。
MAI-Base-2现在可以使用吗?
目前仍处于后训练阶段,面向用户的模型与完整成绩尚未公布。
MAI-Base-2的12倍效率提升是什么意思?
指按缩放定律拟合估算,达到 DeepSeek-V4-Pro-Base 相同评测水平所需算力约为对方的四分之一到十二分之一,是配方效率而非同场跑分结果。
参考资料:Microsoft AI 官方博客、SiliconANGLE、GIGAZINE、AI工具导航相关报道

文章版权归作者所有,未经允许请勿转载。