开源大模型为何转向“少激活”：320B参数只用18B活跃的技术路径与成本边界

生成摘要

AI 生成，仅供参考

一个 320B 参数的开源权重模型，每生成一个 token 只激活其中约 18B 参数，官方给出的 API 价格却不到上一代同等能力模型的十分之一——这是 2026 年 8 月 GLM-5.3-Flash 发布时最值得注意的一组数字。它打破的是一个长期存在于开发者心智中的等式：参数越大，推理越贵。真正决定账单的从来不是总参数，而是每个 token 实际经过多少计算、占用多少显存带宽、留下多少缓存。把这三个量分开看，才能理解“少激活”这条路线究竟省下了什么，又在哪里划出了新的成本边界。

三个被混为一谈的数字

讨论 MoE 模型的成本，最容易犯的错误是把“总参数”“活跃参数”“上下文窗口”当成同一维度的指标来比较。它们对应的是三本完全不同的账。

GLM-5.3-Flash 的三个数字分别是 320B、18B 和 1,048,576 token。前两个数字之比约为 5.6%，也就是说每个 token 只走过了约十八分之一的参数。厂商在发布博客中称，该模型在多项编码与智能体基准上超过上一代 GLM-5.2，价格约为其十分之一，并在长程智能体任务上接近 Claude Opus 4.8。这些是厂商自述与第三方榜单的综合结果，需要与后文的工程现实分开评估。

关键在于：总参数是显存账本，活跃参数是算力账本，上下文窗口是缓存账本。 三者之中只有第二个会随生成 token 数线性累加，也只有第二个真正对应“每千 token 多少钱”里的计算部分。

MoE 的账本如何运作

路由只省了 FFN，没省注意力和词表

混合专家架构的基本机制并不复杂：每个 token 的隐状态先经过一个门控网络打分，选出得分最高的若干“专家”子网络（通常是前馈层的多个副本），只把这些专家算一遍再加权合并。NVIDIA 的术语解释把这一点讲得很直白——不是在每个计算步骤都运行每个参数，而是只激活与当前 token 相关的部分。

但“只激活 18B”不等于“跑了一个 18B 模型”。有几部分是绕不开的全量开销：

• 注意力层：通常所有 token 共享，不参与专家路由，长上下文时它才是计算主体；
• 嵌入层与输出头：词表投影在大词表多语言模型上占比不可忽略；
• 路由本身：门控打分、top-k 选择、跨设备的 token 分发与回收；
• 归一化与残差路径：占比小但无法省略。

因此更准确的说法是：18B 是“等效激活参数量”，用于横向比较算力量级，而不是一份可以直接拿去算显存的清单。不同厂商对这一口径的统计边界（是否含嵌入、是否含共享专家）并不统一，跨模型对比活跃参数时必须留意这个前提。

混合注意力才是长上下文成本的关键

GLM-5.3-Flash 在架构上更值得技术读者关注的一点，是 GLM 系列首次引入稀疏注意力与线性注意力的混合结构。厂商称其“大幅降低长上下文服务成本，同时保留精确的长上下文能力”。

这句话对应的是一个真实的工程痛点：标准全注意力下，KV 缓存随序列长度线性增长、注意力计算随长度平方增长。当标称窗口达到百万 token 量级，即便权重只占固定显存，单个长请求的缓存也可能膨胀到与权重同一量级，并且并发数一多就成倍叠加。线性注意力把其中一部分层的代价压到近似线性，稀疏注意力限制每个 token 只关注部分历史位置，两者混合的目的是在保住长文召回质量的同时，让“1M 上下文”在服务端不是一个只能演示、不能定价的功能。

同一代模型还采用了流形约束超连接（mHC）以改善扩展效率，并基于 30T token 的多模态语料预训练。这些改动共同指向一个方向：把“参数效率”从单纯的稀疏比例，扩展为注意力、连接结构、数据配比的联合优化。

稀疏激活的收益条件

稀疏不是免费午餐。它的收益高度依赖服务形态，同一份权重在不同负载下可能省钱，也可能更贵。

批量足够大时，专家才“吃得饱”

MoE 的计算节省建立在专家并行之上：只有当一个批次里有足够多的 token 被分到同一个专家，那块 GPU 上的矩阵运算才接近满载。批量小、请求短、并发低时，token 在专家间分布稀疏，大量设备处于等待状态，硬件利用率下降，单位 token 成本反而可能高于同算力的稠密模型。

这意味着两件事：第一，MoE 模型天然更适合高并发、长输出的服务端场景，而不是单用户本地低负载交互；第二，厂商能把价格压到十分之一，很大程度上来自服务端的批处理调度能力，而不是单纯来自 18B 这个数字。自建服务时若达不到相应的批量，未必能复现同样的成本曲线。

稀疏比例存在能力上的最优区间

2026 年 3 月发表的一项关于 MoE 稀疏度与推理能力的研究提供了一个重要提醒：研究者固定计算预算，训练了总参数量、活跃参数量和 top-k 路由各不相同的模型家族，把预训练损失与下游任务准确率分开观察，结果发现稀疏性对“记忆型能力”和“推理型能力”的影响并不一致，并提出了以“活跃 FLOPs”为基准的评价思路。

换句话说，在相同训练损失下，过度稀疏可能损害需要密集知识存储的任务，而适度稀疏在推理任务上更划算。总参数承载的是知识容量，活跃参数承载的是推理时的计算通路，两者不是可以无限拉开的关系。看到某个模型把激活率压到 3% 或 2%，不应当自动理解为更先进；它可能只是把能力换成了成本。

部署一个 320B-A18B 模型的真实门槛

对打算自托管的团队，活跃参数几乎不减少显存压力。按每参数一字节粗算，FP8 权重约 320GB 量级；FP4 约 160GB 量级；再加上 KV 缓存、激活值、通信缓冲与框架开销，实际需求还要上浮。这一量级决定了它通常需要多卡乃至多机部署，单机八卡 80GB 的配置在 FP8 下理论装得下权重，但留给缓存的余量相当紧张。

生态侧的准备程度是另一个变量。NVIDIA 已发布该模型的 FP4 与 NVFP4 量化版本，DeepInfra 等推理服务商的模型条目也标注了 fp4 精度；据第三方技术分析，配套的 vLLM 部署方案在发布时已公开。量化把权重压进更少的卡，代价是精度损失与吞吐变化需要在自己的负载上实测，尤其是长上下文和高并发叠加时，量化误差与缓存压力会同时放大。

对于百万级上下文这一卖点，还需要区分标称与实际：窗口大小是配置上限，有效召回取决于注意力实现、位置编码外推和训练数据分布。把它当作“可以塞进整份代码库”的许可之前，应先用自己领域的长文档做召回测试。

评测分数的适用边界

围绕这类模型的宣传材料里，编码与智能体基准是最常被引用的部分。GLM-5.3-Flash 被描述为在六项编码/智能体基准上超过 GLM-5.2，并在长程任务上接近 Claude Opus 4.8。这些结论有用，但适用面窄。

• 基准偏向可验证任务。 代码补全、函数生成、工具调用有明确的通过与否，容易测量；而领域知识准确性、多轮一致性、低资源语言表现缺少同等强度的公开评测。
• 稀疏模型的能力分布不均。 不同专家承载不同知识，头部任务表现好不代表长尾任务同样稳定，路由在分布外输入上的行为需要单独观察。
• 对比基线在移动。 与自家上一代比、与闭源旗舰比，得到的结论方向可能不同；第三方聚合榜单能提供交叉验证，但同样受提示词与评测配置影响。
• 成本维度常被漏掉。 一个模型在基准上高两分、价格高五倍，与低两分、价格低一个数量级，对大多数产品的意义完全不同。

选型时该问的几个问题

把“这个模型多大”换成下面这组问题，判断会更接近真实可用性。

关于价格，公开信息显示其 API 定价为每百万 token 输入 0.15 美元、输出 0.50 美元（据第三方整理，发布时口径）。这个数字的意义不只在于便宜，而在于它给出了自建的成本上限参照：当团队核算卡时、运维、人力和弹性扩容之后发现自建单价高于这个数，选择 API 就是理性决策；反之，数据合规或定制需求才构成自建的充分理由。

效率竞赛改变了什么

从参数竞赛转向效率竞赛，最直接的变化是评价体系需要重建。过去用参数量粗略代理能力，现在这个代理关系被稀疏架构切断了：320B 的模型可以有 18B 的推理成本，18B 的稠密模型也可能比它更贵或更便宜，取决于批量、上下文和硬件。

第二层变化是成本在产业链上的转移。总参数没有消失，它从“每次推理的计算账单”变成了“部署方的显存与通信账单”。厂商通过稀疏激活把边际成本压下去，代价是服务端必须维持足够大的批量与足够好的调度；自建者省下了算力，却要一次性承担容量。谁承担哪一部分，取决于规模。

第三层变化是能力评估的颗粒度。当稀疏比例成为可调参数，模型的能力画像不再是一个总分，而是“哪些任务落在被充分训练的专家上”。这意味着选型不能只看榜单排名，还要看与自己业务分布贴近的那一小块评测。

对开发者而言，最实际的结论或许是：看到“320B”先问显存，看到“18B”先问批量，看到“1M 上下文”先问缓存，看到“接近旗舰”先问是哪些基准。把这四个问题问完，一个模型的部署价值基本就清楚了。