面对一个 MoE 模型的输入,路由器并不负责“理解全文后再统一分工”,而是通常以词元为单位,为每个词元计算其与不同专家的匹配分数,再选择得分最高的一个或几个专家参与处理。这个过程决定了计算沿哪条路径展开,也是 MoE 实现稀疏激活的核心。
一段文本进入模型后,首先被拆分为词元。路由器根据当前词元的表示,为各个专家生成选择分数;采用 Top-k 路由时,每个词元只会被发送给排名靠前的若干专家。例如,模型拥有 16 个专家,但每个词元只选择其中 2 个,那么这部分专家计算就只覆盖被选中的路径,而不是完整调用 16 个专家。
不同词元可以选择不同专家,因此同一段话内部可能形成多条计算路径。与关键词查表不同,路由器本身也是模型的一部分,它通过训练学习在什么情况下选择哪些专家。专家输出完成后,模型会依据路由权重进行合并,再交给后续网络继续计算。
路由权重通常不仅决定“选谁”,还影响“各自贡献多少”。这意味着专家分配不是简单的二选一,而是包含选择和加权两个环节。某个词元可能由多个专家共同处理,最终输出则是这些专家结果的组合。
理论上,路由器应当把词元送往最合适的专家;工程上,还必须控制各专家之间的负载差异。如果大量词元集中到少数专家,这些专家会成为计算和通信瓶颈,其他专家则处于空闲状态。因此,训练过程通常会加入负载均衡机制,鼓励词元更均匀地分布。
但均衡并非越强越好。过度追求平均,可能把词元分配给匹配度较低的专家;过度追求匹配,又可能造成部分专家过载。路由器实际优化的是专家匹配、计算效率和负载均衡之间的折中。
还要区分激活参数与实际计算量。共享层、注意力层、嵌入层和输出层可能始终参与计算,专家路由也会带来设备间通信。因此,MoE 路由器减少的是部分专家计算的重复调用,不是让其他系统成本消失。判断模型效率时,必须同时观察专家选择方式、共享模块、输入长度以及部署中的显存和通信条件。
文章版权归作者所有,未经允许请勿转载。
参与讨论
暂无评论,快来发表你的观点吧!