BT财经

境内金融信息服务备案编号:

【京金信备(2021)5号】

2026年11月18日

注册 / 登录

500万亿!中国AI大模型每天调用多少token?

国内AI大模型每天的词元(token)调用量已经突破了500万亿次。

这个说法来自界面新闻报道,其援引的是央视财经的消息。按照该报道的说法,中国AI行业正在经历一场被称为“智能算力短期补不上,只能向存量要效益”的算力紧张局面。与此同时,一个名为Mooncake的系统方案试图通过技术创新来缓解这一问题。

500万亿这个数字究竟意味着什么?它反映了中国AI应用的真实发展水平吗?答案可能比表面看到的更加复杂。

“500万亿”的数字从何而来?

据公开报道,这一数据的出处指向中国信通院发布的《2025人工智能大模型应用与发展白皮书》。然而,该白皮书的具体章节编号、页码及确切数值的公开可查版本尚未在互联网上找到。这意味着我们目前无法直接确认“500万亿”这一表述是否准确对应白皮书原文中的某一项统计数据。

在缺乏原始文件的情况下,我们至少可以确定两件事:第一,多家权威媒体引用了这一数据;第二,中国信通院作为中国信息通信行业的国家级研究机构,其发布的白皮书具有较高的参考价值。

那么,“500万亿词元”这个单位本身又应该如何理解?

“词元”是衡量语言模型处理文本的基本单位。在一个英文单词中,一个词可能被拆分为多个token;而在中文语境下,token的粒度更加细碎。关键问题是,这里的统计口径是否涵盖了所有国产平台,还是仅指头部几家企业的总和?输入和输出端的token是否都包含在内?这些问题在当前公开报道中均未得到明确回答。

如果按最保守的假设来看,日均500万亿次token调用确实是一个值得关注的基础设施里程碑信号,表明中国AI从“大模型训练期”加速过渡到大规模推理应用阶段。但这同时也意味着对数据中心电力消耗、GPU采购和带宽扩容的需求正在呈指数级增长。

据测算,每处理1亿个token大约消耗0.05至0.1千瓦时的电力。即便按照这个效率计算,500万亿次的日调用量所对应的电力成本也高达数十万元级别。这还不包括服务器硬件折旧、冷却系统维护和人员投入等隐性成本。

换句话说,如果这个数字被证实为真,那么中国AI基础设施的投资规模将远超此前市场预期。而资本市场能否持续为这部分支出买单,将成为下一个关键观察点。

Mooncake系统:给算力“瘦身”

面对日益增长的算力需求,一种被称为“PD分离”的技术思路开始进入公众视野。

Mooncake系统是郑纬民院士团队研发的分布式AI推理框架。其核心创新在于将Prompt(用户提问)和Decoding(模型生成回答)两个阶段分开处理。换句话说,同一批硬件不再像传统方式那样必须等待同一个请求全部完成才能启动下一个任务,而是可以将计算资源分配到不同阶段的并行执行中。

这种架构设计类似于高速公路上的“分道行驶”——让读取指令的车辆和处理回复的车辆各行其道,互不干扰,从而大幅提升整体通行效率。

据已有信息,这种架构能够让硬件额外承接75%的请求量,长文本吞吐能力提升5倍以上。对于一个正在面临算力瓶颈的AI大国而言,这几乎等同于在不增加物理硬件的前提下多出了近四成的处理能力。

更值得注意的是,这项技术并非凭空诞生,而是经过严格学术验证的成果。Mooncake系统获得了计算机体系结构领域最高奖项之一的“埃里克·里德尔最佳论文奖”。

业内有观点认为,这种PD分离方案在未来可能会成为主流推理优化路径之一。但在当前阶段,该技术仍处于早期研究和实验部署阶段,距离大规模商业化推广还有较长的一段路要走。

此外,竞争对手也在跟进类似的技术路线。例如Google Research提出的SpecDecode方法和Meta开发的Megatron-LM框架都在探索如何通过解码过程中的推测性执行来加速推理。这表明全球范围内的AI芯片厂商和云服务提供商都在积极寻找降低推理成本的方法。

AI企业在扩张,算力市场在承压

另一组值得关注的数字来自CNNIC第56次报告。数据显示,截至2025年6月底,我国AI相关企业数量已达到4285家,较两年前翻了一番。

这意味着什么?一方面说明资本和技术人才仍在持续涌入AI赛道;另一方面也暗示了对算力和数据基础设施的需求正在快速膨胀。

事实上,“算力不够用”已经不是某一个企业的个别感受,而是整个行业共同面临的约束条件。无论是大模型的训练过程,还是推理端的应用部署,都需要消耗大量的GPU资源和电力支持。

在这种背景下,一些企业已经开始转向更加务实的路径:与其盲目追求最大规模的集群建设,不如在现有硬件上挖掘更多的效率提升空间。例如通过软件层面的调度优化、算法压缩、蒸馏等方法降低单次推理的token消耗量。这些方法虽然不能从根本上解决算力短缺问题,但在短期内可能是更为经济可行的选择。

此外,随着AI应用逐渐从B端走向C端,普通消费者也会感受到变化——部分AI产品可能会出现响应速度变慢、并发服务能力下降等情况,而另一些则可能通过上述技术手段维持甚至改善体验。

接下来看什么?

如果你关心AI产业的后续走势,以下几个指标值得持续关注:

  • 中国信通院白皮书的正式发布日期和全文内容,特别是其中关于token调用量的具体定义方法和统计范围说明;
  • Mooncake等新型AI推理优化方案的产业化落地进展——哪些公司率先采用了相关技术?实际效果与理论值差距多大?
  • 各大互联网平台公布的大模型API服务营收情况。这可以直接反映token消费规模与企业商业变现能力之间的关系;
  • 全球GPU供应链的变化趋势,特别是中国企业在自研芯片或替代方案上的最新突破。


版权声明:本文版权归BT财经所有,未经允许任何单位或个人不得转载,复制或以任何其他方式使用本文全部或部分,侵权必究。
帮助中心
联系我们
联系我们

 

商务合作:

 

公司地址

北京市丰台区汉威国际广场一区一号楼629

 

 

商务合作

周先生

Tel: +86-17743514315

Email: info@btimes.com.cn

官方微信公众号

北京领讯时代信息技术有限公司 | Copyright ©️ 2026 财经时报 版权所有 京ICP备19043396号-7

京公网安备 11010602007380号 | 境内金融信息服务备案编号:京金信备(2021)5号

网信算备110106674807801230011号


声明:未经授权,不得复制、转载或以其他方式使用本网站的内容。BT财经尽最大努力确保数据准确,但不保证数据绝对正确。