全球与国内GPU市场需求

全球与国内GPU市场需求
当前国内算力市场处于需求不均的状态，特别是英伟达的GPU芯片资源受限于政策和政府指导，导致
部分公司无法进行正常采购，形成紧缺状态。主要受影响的是美股和港股上市的公司，如百度等。
另一方面，国家部委和运营商国企政策推动的地方政府战略建设、大数据基金更新和计算中心建设等
项目，带来了大量的算力需求。这些项目的标的金额从几十万到上千万不等，显示出市场的热度。
整体来看，算力需求仍然旺盛，尤其是国产芯片和国内表现良好的芯片公司将受益。未来中长期算力
需求预计会有结构性变化，尽管训练阶段的需求趋于放缓，但推理阶段的需求仍然强劲。

2. 算力市场的结构性变化
   OpenAI等创新团队的业务放缓，导致模型训练所需的算力需求减少。然而，推理阶段的需求，特别是
   视觉模型和视频模型的需求，仍然强劲。未来，算力需求将更多集中在推理阶段。预计2024年和2025
   年将是应用落地的大年，模型应用的区域可用性和成本优化将推动大量应用和产业链需求的增加。例
   如，抖音计划将所有客服体系转为由模型驱动，显示出模型在实际应用中的广泛使用。
3. 互联网大厂的资本开支预期
   字节跳动在2024年的资本开支预计不会低于2023年，主要围绕模型功能化和国内外采购进行。百度则
   可能更多依赖自研芯片昆仑，减少对英伟达等国外芯片的依赖。整体来看，腾讯、阿里、百度、字
   节、美团等公司的资本开支可能会有所减少，但仍保持在较高水平。资本开支的结构性变化将根据政
   策和市场需求进行调整。
4. 国产芯片的适配与发展
   国产芯片在推理阶段的应用较为广泛，但在训练阶段仍主要依赖国外芯片。未来，国产芯片的适配工
   作将由大厂和芯片厂商共同合作完成，重点在于满足大厂的需求和进行适配测试。国产芯片的发展前
   景乐观，国家政策的大力支持和芯片设计能力的提升将推动国产芯片的市场份额增加。尽管目前存在
   供应链和技术上的挑战，但通过持续优化和成本控制，国产芯片有望在市场中占据一席之地。
5. 海外市场与应用前景
   海外市场的算力需求较为魔幻，很多公司通过购买大量GPU来提升业务表现。然而，随着OpenAI等公
   司的发展放缓，海外市场的算力投资可能不会如预期般激进。值得关注的海外应用方向包括AI搜索、
   智能陪伴、学习教育和智能硬件等领域。这些方向在全球范围内显示出较快的增长和较高的营收潜
   力。
   Q&A
   Q：您对目前全球和国内GPU市场需求的判断是什么？对明后年的景气度有何展望？
   A：目前国内算力市场处于需求不均的状态，存在紧缺现象，尤其是英伟达的GPU芯片受限于政策和非
   商业背景的原因，导致无法进行心理改造。这种紧缺主要影响到一些上市公司，如百度等。另一方
   面，以国家部委和运营商国企政策承接的地方政府战略建设和大数据基金更新等项目，需求仍然旺
   盛。总体来看，算力需求趋势仍然延续，但存在结构性变化。中长期来看，我对明年的算力需求持中
   性偏乐观的态度，尽管训练阶段的需求放缓，但推理阶段尤其是视觉模型的需求仍然强劲。
   Q：结构性变化具体指什么？
   A：结构性变化主要来源于创新业务的放缓，如OpenAI的GPT-5迟迟未发布，导致国内芯片巨头在模
   型训练上的投入趋于审慎。尽管训练需求放缓，但推理阶段尤其是视觉模型的需求仍然强劲，这些模
   型需要大量的算力资源。此外，国产芯片在未来的政策收敛下，将承担更多的训练算力资源需求。
   Q：您对2024年和2025年的算力市场有何预期？
   A：2024年和2025年将是应用落地的大年。随着模型应用的区域可用性提升，特别是在视觉理解和图
   片处理等方面，国内的模型已经具备全球领先的多功能应用能力。预计2025年应用落地将带来大量的
   电力开销和产业链需求，尤其是在成本优化和补贴政策的推动下，应用需求将显著增加。
   Q：您对未来几年算力市场的整体需求有何看法？
   A：总体来看，未来几年的算力市场需求仍然值得期待。尽管需求结构化变化明显，但整体需求仍然强
   劲，尤其是在业务变革和趋势演进的推动下，资源需求方也在发生变化。未来几年，算力市场将继续
   保持正向增长态势。
   Q：您认为2025年会是应用落地的大年，能否详细谈谈未来可能拉动算力需求的一些应用场景？
   A：首先，当前已经有大量应用在落地。例如，字节跳动的多个业务分支已经全量接入模型，进行业务
   重构。应用可以分为两类：一类是可以被感知的应用，如Make up眼镜、机器人、扫地机器人、APP上
   的应用等；另一类是底层能力提升的应用，如抖音客服系统从基于规则的对话转变为模型驱动的对
   话。还有一些智能对话、智能陪伴、购物应用等也在推进中。随着模型token定价的降低，使用成本减
   少，推动了更多用户的实际使用，调用量显著增加。预计2025年，随着更多能力上线，如视觉理解、
   动态反馈等，应用场景会更加丰富和有趣。
   Q：您对互联网大厂明年的资本开支预期是什么？
   A：整体来看，互联网大厂的资本开支在年底的Q4或者11、12月份可能会有一个大致的结果。目前主
   要是在讨论一些倾向性内容，尚未确定输出。字节跳动在2024年的资本开支预计不会低于今年，大约
   在三四百亿左右，主要用于模型功能化值的提升，部分资金可能用于购买国内外的专利和设备。百度
   的资本开支可能会减少，主要依赖自研的昆仑芯片，减少对英伟达专利的依赖。综合来看，腾讯、阿
   里、百度、字节跳动和美团等公司的整体资本开支可能会比今年减少20%-30%。不过，乐观估计的
   话，明年的资本开支至少会与今年持平，甚至略有增长。
   Q：大厂在采购方面的结构性变化趋势？
   A：在2024年，百度、字节跳动、腾讯、阿里和锐捷等公司仍然主要以采购英伟达的卡为主。每家公
   司的结构有所不同，但总体趋势是以英伟达的产品为主导。
   Q：在数据中心购卡时，我们主要关注芯片的哪些参数和能力？
   A：首先，我们会关注芯片的制程。其次，我们关注FP16的精度，例如350或270等参数。第三，我们
   会看存储容量。第四，我们关注通信性能。第五，我们会考虑算子的适配情况。此外，我们也会进行
   自测，例如运行模型测试，以评估性能和对象优化情况。虽然集群的调查和稳定性实验并不是最重要
   的，因为我们对国产产业的推理性能没有太高期待，所以只需关注前几个关键参数即可。
   Q：对于国产卡来说，您认为哪些参数的难度相对较大？
   A：难度较大的参数主要是制程和供应链，因为这不以个人意志为转移。供应问题大家都很清楚，另一
   难点在于算法框架。关键在于是否有团队能定向优化软件以充分发挥卡的性能。许多芯片的标称参数
   很好，但实测结果却达不到其性能。我们更关注能否通过软件优化使芯片性能最大化。
   Q：在当前的市场环境下，采购计划是否会因外部因素进行调整？
   A：是的，在全年预算不变的情况下，我们会根据供应情况或其他因素对采购进行动态调整。这些芯片
   不是在年初就完全确定的，我们可以在过程中进行增减。对于未来，我们会特别关注OV卡的购买限制
   和数量，同时也会参考国产卡的测试结果，以综合判断并调整结构。
   Q：在购买芯片卡时，公司主要考虑哪些因素？
   A：我们主要考虑五个因素。第一，供应链来源和代工厂不细谈。第二，性价比是重要因素，例如某张
   卡售价十几万，而其他卡可能只需八万多。性能差距不大时，我们更倾向于选择便宜的卡。第三，我
   们关注框架和运营适配性，国产芯片主要用于推理而非训练。第四，我们会考量量产计划和设计规
   划。第五，政府的支持意愿，包括地方政府的态度。
   Q：如何看待目前大厂自研芯片的能力，尤其是像百度昆仑这样的产品是否能满足训练需求？
   A：目前来看，大厂自研芯片在满足训练需求方面表现不错。以百度昆仑为例，其参数和性能在业内属
   于较为先进的水平，P800型号已经实现量产，并表现出色。不过，在集群组网和验证方面，我们的关
   注点不多，更多的是关注单机单卡的表现。总体而言，自研芯片经过优化和调度后是可以使用的。另
   外需要注意的是，未来可能会通过海外通道回片的方式，引入国产芯片，这或许会影响市场格局。
   Q：如何看待未来国内在推理和训练需求上的变化趋势？
   A：从需求层面看，未来推理和训练的需求将随着时间和算力的变化而演进。训练需求的增长初期会比
   较陡峭，但随着数据获取难度的增加，增速会放缓。相比之下，推理需求的增长会相对缓慢，但随着
   成本的降低和应用场景的增加，将在未来某个时间点显著上升。这两个需求曲线预计会在2024年底或
   2025年初出现交汇点，届时推理需求可能会超越训练需求。
   Q：在推理和训练方面的技术关注点有哪些不同？
   A：在训练方面，主要关注集群组网、通信稳定性、预训练参数以及算子适配等技术细节，而推理相对
   简单一些，主要关注模型的蒸馏裁剪、精度调整和显存要求等。此外，推理过程中的功耗和价格也是
   需要重点关注的方面。
   Q：在国产卡的适配方面，主要由哪些厂商负责？
   A：目前在国产卡的适配上，大厂和原厂是双向合作的关系。我们提出需求，他们负责满足，并进行适
   配和测试。双方分工明确，共同推动适配进程。
   Q：在推理和训练卡技术开发中，哪方投入的人力和成本更多？
   A：大厂和原厂在这方面的人力投入都很大。大厂投入了数百人进行GPU接入和测试，但从人效来看，
   原厂可能在成本和人力上提供更多支持。
   Q：目前海外有哪些值得关注的应用方向？
   A：值得关注的方向包括AI搜索类应用、智能陪伴和情感陪伴工具、学习教育类应用、智能硬件如Meta
   的软件和各类机器人。此外，新闻场景、客服类、To B类应用以及儿童情感陪伴类玩具也有一些有价
   值的公司在做。
   Q：您对明年海外算力需求的看法是什么？
   A：海外算力需求较大，但存在一些宏大叙事的逻辑问题。例如，有公司声称通过购买大量GPU提升推
   荐广告效果，但这种逻辑在我们看来并不完全合理。尽管如此，海外大厂的投入仍然较大，尤其是在
   OpenAI的GPT-5等项目的推动下。总体来说，海外算力需求可能会比国内更大，但具体效果还需观察
   市场和投资者的反应。
   Q：您对国内当前大模型的商业化路径有何看法？
   A：国内大模型的商业化处于快速小步快跑的状态，很多公司在做验证合作上线。一级市场中有许多公
   司已经融到资金，预计2024年的创业公司有望在2025年看到成果。模型的商业化方向包括成人陪伴、
   儿童陪伴、客服类、游戏类和创意写作类等应用。随着模型竞争的减少，大厂将主导市场，应用端的
   选择成本也会降低。
   Q：当前模型的成本下降情况如何？未来还有降价空间吗？
   A：目前模型的成本已经从两三千元降到800到2000元，未来还有进一步降价的空间。成本降低的关键
   在于模型的工程优化和大规模应用的支撑。尽管文本模型已经不亏钱，视觉、语音和图片模型仍有较
   大降价空间。我们愿意通过低价换取市场份额，以增加用量并降低成本。
   Q：海外和国内的算力卡技术路线有何不同？对未来长期发展前景有何影响？
   A：国内的算力卡，如昆仑等芯片，采用的是GPT路线。技术路线本身并不是决定性的因素，关键在于
   生态系统和卡的性能数据。无论是SC还是CPU，不同方案的适配性和性能才是核心问题。
   Q：国产算力卡在未来发展中能否占据优势？有哪些关键因素？
   A：国产算力卡一定能发展起来，主要因为国家的大力支持和资金投入。关键因素包括：1）解决供应
   链问题和芯片设计问题；2）提高芯片设计能力，即使技术相同，设计能力不同会导致性能差异；3）
   优化算法框架和软件迭代；4）控制成本和提升服务质量。只要这些方面做好，国产芯片一定会有需
   求。