自研芯片真能省下推理成本?

我最近一直在算一笔账：做 AI 产品，推理成本到底能不能靠自研芯片打下来？9 月 17 日英伟达说 Blackwell 第四季度如期出货，另一边美银给 Meta 算了笔账，说用自研 MTIA 替代部分外购芯片，每年能省数亿美元。当时我第一反应是羡慕——这省下的钱够我们小团队跑好几年。但冷静下来想，这事没表面那么轻松。

我们这种体量的开发者，用英伟达 GPU 说白了就是买现成。训练、推理都能跑，CUDA 生态也熟，遇到问题搜一下就有解法。可推理量一旦起来，账单就开始变得不那么友好。Meta 把广告推荐、内容排序和部分轻量生成任务挪到自研芯片上，思路其实很清楚：这些场景量大、负载相对固定，原本通用 GPU 里很多能力根本用不上。为用不到的东西付费，对每天请求量巨大的公司来说是实打实的浪费。

但自研芯片绝不是“省钱快捷键”。前期研发、流片、工具链适配、良率爬坡，每一项投入都吓人。Meta 有能力试错，普通公司硬上，很可能还没看到省下的推理成本，先把自己现金流烧穿。所以“真能省”这个问题，放在不同人身上答案完全不同：推理规模足够大、负载足够单一、又养得起芯片团队，自研的边际成本优势才会慢慢显现。

我自己的选择还是继续租 GPU，先把模型推理链路和产品场景跑顺。自研芯片对我来说更像一个观察信号：当大厂开始认真把推理负载迁到自己的芯片上，说明单位 token 成本真的成了竞争焦点。英伟达显然也意识到了，不然不会在软件生态和定制选项上同时加码，把大客户往自研路上推的动力降下来。

所以别被“每年省数亿美元”冲昏头。自研芯片能省，但省的是规模化、特定场景下的推理成本，不是谁都能捡的便宜。对我们这些小团队来说，先把流量和场景验证出来，再考虑芯片级降本，可能才是更现实的路。