大模型少激活架构的显存与计算机制

“参数越大，推理越贵”这个等式正在失效，但失效的方式常被误读。GLM-5.3-Flash 给出的三个数字——320B 总参数、约 18B 的每 token 活跃参数、1,048,576 token 上下文——经常被放在同一句话里讨论，实际上它们对应的是三本完全独立的账。

显存是固定成本，算力是边际成本

总参数决定权重占用的存储与显存容量，只要模型加载完成，这项开销就不会因为生成多少 token 而改变，属于部署时一次性买断的固定成本。活跃参数决定单次前向的 FLOPs，随生成 token 数线性累加，对应真正的边际成本。上下文窗口则决定注意力计算与 KV 缓存的规模，随序列长度和并发数增长，是服务端的并发成本。三者之中，只有活跃参数这一项，会随产出直接增加。

这也解释了一个常见误判：稀疏激活几乎不会降低权重占用的显存。按每参数一字节粗算，FP8 下权重在 320GB 量级，FP4 下在 160GB 量级，再叠加 KV 缓存、激活值、通信缓冲和框架开销，实际需求还要上浮。单机八卡 80GB 在 FP8 下理论装得下权重，留给缓存的余量却相当紧张。量化能把权重放进更少的卡，但在长上下文与高并发叠加时，量化误差和缓存压力会同时被放大。

稀疏只覆盖了 FFN

MoE 的省算力机制并不复杂：门控网络对每个 token 的隐状态打分，只激活得分最高的若干专家子网络，算完再加权合并。但这条路径只作用于前馈层。

注意力层通常全 token 共享，不参与路由；嵌入层与输出头的词表投影在大词表多语言模型上占比不可忽略；门控打分、top-k 选择、跨设备 token 分发与回收本身也有开销；归一化与残差路径占比小，但省不掉。所以 18B 是用于横向比较算力量级的“等效激活量”，不是可以直接拿去估算显存的清单。各家对统计边界的处理并不统一，跨模型比活跃参数时要先看这个前提。

长上下文的账还要单独算。标准全注意力下，KV 缓存随长度线性增长，注意力计算随长度平方增长；当标称窗口到百万 token 量级，单个长请求的缓存就可能膨胀到与权重同一量级。GLM 系列在这一代首次引入稀疏注意力与线性注意力的混合结构，把部分层的代价压到近似线性，目的正是让“1M 上下文”在服务端成为可以定价的功能，而不是只能演示。

省下的算力有前提条件

MoE 的计算节省建立在专家并行之上：只有同一批次里有足够多 token 被分到同一个专家，那块 GPU 的矩阵运算才接近满载。批量小、请求短、并发低时，token 在专家间分布稀疏，大量设备空等，单位 token 成本反而可能高于同算力的稠密模型。这条曲线意味着，厂商能把价格压下来，很大一部分来自服务端的批处理调度能力，而不只是 18B 这个数字本身。

判断一个少激活模型的实际代价，可以先问三个问题：显存预算能覆盖权重之外多少缓存，峰值并发与平均输出长度能否喂饱专家，上下文长度分布是否会让注意力成为主要成本项。显存是入场券，算力是流水，缓存是并发上限——三者错位，账面再漂亮的激活比例也换不来真实成本优势。