MoE激活参数能等同于稠密显存吗?

不能把 MoE 的激活参数量，直接换算成同规模稠密模型的显存需求。“每个 token 激活多少参数”描述的是计算通路，不是部署时只需加载多少权重。判断能否装进显卡，首先要看总参数量与权重精度，而不是激活比例。

未参与计算，不等于不占显存

MoE 会为不同 token 选择不同专家。某个专家没有参与当前 token 的计算，并不意味着后续 token 不会调用它。为了避免临时搬运带来的等待，常驻显存的部署通常仍需保存全部专家权重；多卡分片只是把这些权重分散存放，并没有消除总容量需求。

以总参数 320B、激活参数 18B 为例，按每参数一字节粗算，仅权重就约需 320GB，而不是 18GB。这还没有计入缓存、运行时中间结果和通信缓冲。因此，“激活 18B”不能作为“按 18B 稠密模型配显存”的依据。

激活参数也不是运行显存

这里还容易混淆两个概念：激活参数是参与计算的模型权重，激活值是计算产生的中间结果。后者同样占用显存，但不能直接由激活参数量推导。

部署显存需要分别核算权重、KV 缓存和运行时开销。权重主要受总参数量、精度与分片方式影响；KV 缓存取决于注意力结构、上下文长度和并发；中间结果及缓冲则与批量、路由和执行实现有关。即使激活参数量相近，MoE 与稠密模型也未必拥有相近的显存峰值。

若通过卸载或按需加载专家减少显存常驻权重，确实可能降低设备容量要求，但代价会转移到数据搬运、带宽和延迟上，不能视为免费获得“稠密小模型”的部署条件。

因此，激活参数更适合辅助判断计算规模，而非充当显存规格。选卡前应确认权重如何驻留，再按目标上下文与并发测试显存峰值：少算了多少参数，与少存了多少参数，是两笔账。