微软在 10 月 12 日发布了 Maia 300,称其为自研 AI 加速器的新一代产品,是 Maia 200 的继任者。公司表示,与主流的 GPU 方案相比,它每兆瓦能产出多 40% 的推理 token,整机架级别的 token 吞吐量最高可达 Maia 200 的七倍。
这些数字都来自微软,尚未经过独立验证。但方向并不难读:随着每天用 AI 的人越来越多,运行回答的成本(也就是推理)已经和训练更大的模型同样重要,而自研芯片是压低这部分成本的一种方式。
对你意味着什么
Maia 300 并不是你能直接买到的产品。它的影响是间接的:如果这些效率提升在真实部署中站得住,更便宜的推理可能带来更低的价格、更快的响应,以及在高峰期更稳定的承载能力。数据中心芯片也会影响这些工作有多少能留在服务商自己的硬件上,而不是租用 GPU。
就目前而言,实际影响有限。硬件发布很少能立刻改变你今天能做什么,它设定的是未来一年里服务价格与表现的预期。对待这类效率说法,按看待任何厂商跑分的方式来:可以关注,但最好等独立测试来印证。
来源:微软在 X 上的发布。


