GPU vs TPU，性能与成本该如何平衡？

GPU vs TPU，性能与成本该如何平衡？
事件：苹果采用谷歌TPU作为算力训练先发硬件，引发市场对AI算力底座生态的深度探讨
1）短期看，在大模型持续迭代的背景下，GPU仍然是支持多功能架构和广泛生态的最优硬件解决方案；
2）中长期看，综合互联网厂商对于硬件成本下降的诉求、模型底层架构迭代趋于收敛的背景，产业界均在筹备TPU等多类硬件方案，但推动大规模的部署或将需要“通用世界模型”作为基础；
3）从商业逻辑角度，拥有训练/推理数据的所有权将成为AI商业闭环打通的关键要素之一，或将推动苹果等大型品牌厂商进行全栈式的AI硬件+软件生态部署。

苹果使用TPU作为先行硬件方案，或基于中长期生态及成本考量。
根据此次发布的Apple Foundation Models论文，苹果采用了 8192 颗TPUv4 芯片训练服务器端AFM模型（AFM-server）；同时使用 2048 颗TPUv5p芯片训练，并通过知识蒸馏和结构剪枝优化了设备端AFM模型（AFM-ondevice）。根据谷歌TPUv4 与NVIDIA A100 相比的功耗低 1.3-1.9 倍，在 Bert、ResNet等多类工作模型中，效率高于A100 1.2-1.9 倍；同时其 TPUv5/TPU Trillium产品相比TPUv4，能够进一步提升 2 倍/接近 10 倍的计算性能。谷歌TPU产品相比英伟达的产品更多在成本与功耗上存在优势。苹果使用TPU作为先行硬件方案，能够在中长期推动算力硬件部署成本的下降，同时基于苹果具备自研数字芯片的能力以及拥有丰富的闭源生态系统，我们认为远期苹果或致力于推动建设自有的全栈式解决方案。

GPU vs TPU，大模型时代的最终硬件方案将如何演绎？
TPU属于ASIC芯片的一类，其优势在于出众的能效比与单位成本算力指标，同时试错成本高的劣势也较为明确；而GPU具备最为丰富的多功能架构和广泛生态的支持。在大模型快速迭代的背景下，我们仍然看好GPU作为优质的硬件解决方案，但并不妨碍科技厂商同步筹备ASIC等硬件方案作为远端硬件降本提效的方案，建议积极关注苹果与四大CSP厂商的硬件部署架构。