AI Neocloud Playbook and Anatomy

《AI Neocloud Playbook and Anatomy》由SemiAnalysis的Dylan Patel和Daniel Nishball撰写，探讨了AI Neocloud的市场格局、技术架构、运营成本和经济模型等方面。

1. AI Neocloud市场概述
   • 主要参与者：包括传统超大规模云服务提供商（如谷歌云、微软Azure等）、AI Neocloud巨头（如Crusoe、Lambda Labs和Coreweave）、新兴AI Neocloud和经纪商/平台/聚合商。
   • 市场增长：AI Neocloud市场是GPU需求的重要驱动因素，预计将增长到总需求的三分之一以上。
2. 构建AI Neocloud
   • 集群物料清单（BoM）
     • 计算机箱层面：选择中端Intel CPU，适当降低内存，去除不必要的组件（如Bluefield – 3 DPU），可降低成本。
     • 网络层面：包括前端网络（以太网）、后端网络（InfiniBand或RoCEv2以太网）和带外管理网络。优化后端网络可采用8轨优化拓扑结构，同时考虑光网络和电网络的优缺点，还可采用虚拟模块化交换机设计和超额订阅优化。
     • 存储层面：部署至少8台存储服务器，选择合适的存储软件供应商。
   • 集群部署和验收测试：利用OEM的集成和测试团队，进行长时间的高温老化测试和现场验收测试。
   • 日常运营：包括监控常见问题（如IB收发器故障、GPU错误等），使用内部管理和调试工具。
3. AI Neocloud经济模型
   • 需求生态系统
     • Neocloud巨头：与大型AI初创公司、实验室和企业签订长期合同，提供大规模GPU计算。
     • 新兴Neocloud：主要面向中小AI初创公司，提供较小规模的GPU集群。
     • 经纪商/平台/聚合商：匹配GPU所有者和客户，提供多样化的服务模式。
   • 定价和合同类型
     • 按需定价：灵活性高，价格通常较高。
     • 现货定价：价格可能较低，但使用可能会被中断。
     • 合同/预留定价：价格锁定，适合长期使用。
   • 成本分析
     • 资本成本：包括集群设备采购成本、存储节点成本等，受融资成本和设备使用寿命影响。
     • 运营成本：包括数据中心托管和电力成本，受托管合同条款和能源效率影响。
   • 投资回报和业务案例：不同类型的AI Neocloud在成本和收益上存在差异，需要综合考虑定价策略、市场需求和成本结构等因素。
4. 未来展望
   • 技术发展：关注GB200 NVL72等新一代GPU的推出和应用，以及对AI Neocloud市场的影响。
   • 市场竞争：随着市场的发展，AI Neocloud之间的竞争将更加激烈，需要不断优化成本和服务。