桌面端本地运行大模型的硬件门槛

看到 Muse Spark Open 发布的消息，我第一反应不是去下载权重，而是下意识算了一笔内存账。816B 总参数、1M token 上下文，这些数字看着唬人，但真正决定它能不能在你桌上跑起来的，是另外三件事。

先说要澄清一个常见误解：参数量大不等于运行时一定卡死。它是稀疏混合专家架构，每个 token 只激活约 42B 参数。这意味着计算压力并没有 816B 那么吓人，可权重还是得全部装进内存里。你可以在某一步只用到一小部分专家，但没法保证下一步不会用到别的那部分，所以权重必须全部装进内存。

这就是第一道门槛：容量。Muse Spark Open 的 4-bit 检查点大约 530GB，而单台 M5 Ultra Mac Studio 的统一内存最高 512GB，差一点点。所以 Meta 的方案是两台，凑出约 1TB 的统一内存，刚好放得下。

容量够了，第二道门槛紧接着来：带宽。每生成一个 token，都要把对应的权重切片读一遍，带宽差不多就是出词速度的天花板。M5 Ultra 的内存带宽是 1.2TB/s，这已经是桌面设备里很能打的水平了，但跟装得下相比，跑得快不快才是更考验人的事。

第三道门槛最容易被忽略：机器之间的互联。两台机器不是插上线就变成一台，它们要各持一半权重、各算一半运算，中间频繁交换数据。Meta 用的是 Thunderbolt 5 加 RDMA，这条路走不通，内存再大也只是两块各自为政的板子。

有意思的是，这套门槛并不是唯一解。四台 256GB 的 Mac Studio 组合也能跑，服务器端大概需要 700GB 显存，可以用四块 Blackwell Ultra 或八块 H200 顶上去。所以别把“两台 Mac Studio”理解成官方指定配置，它更像是在“总内存够大 + 通道够快 + 互联不掉链子”这三个约束下的一种组合方案。

我手上没有这样的机器，短期内也不打算有。但这套判断框架对普通人是真有用：想在本机跑大模型，先看量化后权重占多大，再看内存带宽够不够喂，最后看多机互联会不会成为瓶颈。至于参数量本身，那是宣传页上最好看的数字，不是你需要抄在纸上的那一个。