买得起用不起：79％企业的AI GPU正在烧钱吃灰

一家公司前两年花了几千万美元买了一批GPU服务器，机房里风扇嗡嗡作响。另一头，它的工程师们却在每天调用OpenAI和Anthropic的API，按Token计费，每月的账单比年初翻了一倍。

这就是当下多数大型企业最真实的AI支出图景——一边是硬件在机房吃灰，一边是闭源模型的API账单狂飙不止。

近日，科技媒体VentureBeat旗下研究机构VentureBeat Intelligence汇总了三季度连续调研数据：79％的企业受访者表示其GPU算力至少有一半时间处于完全闲置状态。 这个数据在三个月内始终稳定维持在77％至81％的高位。

而更具戏剧性的是，在这批GPU平均利用率不超过50％的企业里，70％的公司仍计划在未来12个月内引入、扩充或更换新的AI计算平台。

这批受访企业来自385名符合条件的对象，每家机构员工人数不少于100人。其中也包括代表其主要客户作答的咨询顾问。

错位的两套账单

表面上看，这种“一边闲置、一边加码”的现象极度违背商业常理。尤其是在多数技术负责人正面临削减AI预算压力的当下——一些技术负责人告诉VentureBeat，在秋季的预算季，他们正承受着削减AI账单的巨大压力。

但深入企业内部架构会发现问题的核心：现有硬件根本承接不住真实的AI需求。

恐慌驱动的算力储备和对前沿模型的路径依赖，构成了两套无法沟通的账单体系。

前两年全球算力短缺的焦虑下，大量企业出于“防踏空”心理提前锁定了GPU集群。硬件到位后，却发现缺乏成熟的内部场景与工程能力将其跑满。

与此同时，业务团队与工程师更倾向于直接调用Anthropic、OpenAI和Google旗下最顶尖的闭源前沿模型。企业通过这些公司的API按Token付费，或者通过月度订阅、大型云服务商购买模型能力。

这些前沿模型无法被直接部署到企业此前花费巨资搭建的本地或托管GPU上。

这就造成了一个讽刺的局面：自建算力成了沉没资产，而调取闭源API的成本以惊人速度吞噬预算。

今年8月，《财富》杂志报道过Uber的案例。该公司首席技术官透露，由于鼓励员工尽可能多地使用AI工具，甚至专门设立了“排行榜”对软件工程师的使用情况进行排名。结果几个月内便耗尽了全年的AI预算，企业不得不宣告“Token狂欢”时代的终结。

调研数据进一步佐证了这种结构性割裂：在计划采购新计算平台且GPU闲置的企业中，90％将目光投向了公有云与模型API服务商，仅有8％考虑扩建本地私有集群。

“推理经济学”的到来

如果说GPU闲置暴露的是基础设施利用效率问题，那么AI Agent的普及则可能让企业面临更加复杂的成本挑战。

VentureBeat预计，未来企业AI支出中用于模型调用的比例将越来越高。尤其是伴随业务从简单的生成式对话迈向多步骤自主的AI Agent，企业的算力矛盾正在被进一步放大。

Gartner预测，到2028年，单个Agent工作流的推理成本将上升5倍以上。

这不意味着模型的Token单价会越来越贵。事实上，随着推理基础设施和模型效率持续优化，单位Token价格可能继续下降。但真正的问题是，Agent完成任务时消耗的Token数量，增长得远比单价下降更快。

其中一个很容易被忽视的成本来源是上下文。以AI编程为例，模型不仅需要理解当前问题，还需要不断读取项目代码、系统指令和历史执行记录。随着任务推进，这些上下文可能在多次请求中重复出现。如果每次都重新处理，成本会迅速累积。

另一个变量是Agent数量。行业评测机构Vals AI的一项编程任务测试发现，采用主Agent调度多个子Agent的方案，成本达到单Agent的1．8至5．1倍。然而，在四种测试配置中，只有一种取得了统计显著的性能提升。增加Agent可能带来更强的能力，也可能只是让更多模型同时消耗Token。

务实自救的五条路径

面对极高的闲置率与失控的模型调用账单，粗放式的“盲目采购”正在成为过去。业内普遍认为，在企业签署下一份算力合同之前，应当优先在既有资产中挤出效率。

具体而言，有几条可操作的路径已被讨论：

第一，衡量每项已完成任务的实际成本，同时考虑GPU算力资源和API调用支出。

第二，测试不同模型和推理强度，确定默认配置。评价标准应当是“每项已完成任务的成本”，而非单个Token的价格。便宜的模型可能消耗更多Token，最终导致单项任务成本反而更高。

第三，只向Agent提供它实际需要的上下文，并缓存重复使用的内容。NVIDIA工程师在技术指南中提到，在某Claude Code会话场景中，首次调用之后后续请求约85％至97％的上下文可以通过缓存复用。

第四，只有当任务能够拆分为可并行执行的部分时，才增加第二个Agent。

第五，将常规、高频任务从前沿模型API迁移到运行在闲置算力上的开放模型，如分类、信息抽取和文本摘要。同时利用剩余的GPU闲置时间处理批量推理、模型评测和微调等可以延后执行的任务。

值得关注的观察指标

这一轮AI投资的反思并非空穴来风。以下几组数据将在未来半年到一年继续演进：

• 企业GPU实例利用率比率： 关注各大云服务商AWS、Azure、GCP的GPU实例填充率变化；
• API调用增速与企业预算缩减趋势的交叉对比： 当“烧钱速度”超过“收入贡献”时的拐点何时到来；
• 混合部署方案 adoption rate： 企业开始将部分工作负载迁移到本地GPU的比例；
• 开源模型在商用场景的市场份额： Llama等开源模型能否真正分担闭源API的压力；
• 模型厂商的收入构成变化： OpenAI、Anthropic等是否因企业预算收缩而出现增速放缓。

对于整个算力产业链而言，“训练军备竞赛”的时代正在走向终章。下一个阶段的主题只有一个词：成本。

谁能让单次推理的成本降下来，谁就能在接下来的竞争中活得更久。而这恰恰是那些还在疯狂囤积GPU的企业最需要想清楚的问题。