BT财经

境内金融信息服务备案编号:

【京金信备(2021)5号】

2026年11月22日

注册 / 登录

腾讯把8万条群聊做成考卷,AI记忆力差在哪

一个家庭群里讨论假期安排。你让智能助手记下“我爸周五下班后要去机场接我妈”,然后三天后你把航班号改成了另一趟。下次你再问助手,它可能还记得“接我妈”这件事,却把时间写到了新的航班起飞前——或者干脆把另一个家庭成员上周提过的晚餐计划混进了回答。

这不是科幻小说里的情节,而是当前大多数个人智能体正在经历的尴尬:能记住,但经常用错。

2026年11月,腾讯元宝团队与伦敦国王学院NLP研究组联合发布了一个名为 GroupAssistBench 的评测基准——这是目前公开范围内首个专门针对多用户、动态群聊场景下AI长期记忆能力的标准化测试框架。

答案是:不是存了多少条记忆,而是能在复杂对话中精准调用那些正确的记忆,不张冠李戴、不凭空篡改、不在多人偏好冲突时给出一个谁也说服不了的答案。

L1考“回忆”,L2考“办事”

传统的AI评测喜欢用选择题。给你一段文本,问你“文中提到了谁”——这种封闭式的问答考核的是记忆力的下限。GroupAssistBench 构建的 2,395道评测题 中,这类L1(事实回忆类)题目占了1,374道,占比超过57%,相对好做因为答案往往有明确锚点。

真正拉开差距的是剩下的1,021道 L2题目(开放服务类)。它们不像选择题那样只有一个标准答案,而是模拟真实用户提出的开放式服务请求——比如在一个包含5个成员的旅游规划群里,助手需要根据过去两个月分散在多次对话中的偏好,协调出一个可行的出行方案。

这套评测的评分方式也很不同。正面加权考察模型是否精准调用了关键锚点事实,反面扣分则直接映射自真实用户在历史对话中给出的纠错反馈——比如AI篡改了数字、忽略了旧有的协议约定。评分标准本身就是从真人踩坑的经验里长出来的。

研究团队采集了 50个真实中文群聊,累计涵盖了 80,299条原始交互消息。这些数据来自已经在线运转的实际群组,而非实验室里编造的示例对话。每个群组的活跃度和成员规模各不相同,对话内容涵盖生活、工作、消费等多个领域,保证了测试场景的真实覆盖度。

两项轻量干预,如何让AI少犯错?

论文提出了两个轻量级干预手段,名称缩写分别是 RER 和 ACB。

RER(关系证据精炼) 解决的是“检索不到”的问题。大模型常常遇到这样一种情况:用户换了种措辞提问,原本存储在系统中的相关信息就找不到了。RER的工作方式是梳理检索到记忆的碎片化逻辑,显式地建立起跨成员和跨事件的关联图谱,然后自动追溯补全缺失的辅助证据。简单说就是帮AI在记忆里画一张网,让它不会因为一句话的表述变化就找不到相关线索。

ACB(辅助约束绑定) 解决的是“记了但没遵守”的问题。即便AI成功调取了某条记忆中的信息,也可能在生成回答时无视这些已知事实。ACB的做法是提取记忆中已经验证过的事实、状态及其适用边界,把它们转化成不可逾越的规则模块注入生成流程,强制模型在输出时对齐已有信息。这相当于给AI装了一个“不得违规”的硬约束,而不是依赖模型的自觉。

这两项干预单独使用都能带来提升,而组合叠加后的效果更加明显。在测试的14组配置中,表现最差的基础扁平结构系统 LightMem,在同时开启RER和ACB后,L2任务得分较自身孤立基线大幅拉升了 7.03个百分点。

这个数字看起来不大,但在一个本就不擅长的任务上获得接近7个百分点的绝对提升,意味着从“经常翻车”到“基本可靠”的跨越——足以支撑一个日常助理级别的稳定服务。

头部模型0.469分:AI的记忆力远未到及格线

如果把所有参与评测的模型拉出来排名,成绩差距比想象中更大。具备全量上下文能力的 DeepSeek-v4-flash 以L2均分 0.469 拔得头筹,GPT-5.6-terra紧随其后拿到 0.431。即使在最先进的模型面前,“在多用户群聊场景中精准调用历史信息”这一任务也远未达到及格线——0.469的最高分,意味着连最出色的模型也只能勉强做到一半左右的正确率。

更值得注意的外部参照是一个专门针对记忆系统的第三方工具 EverMemOS,它在同样测试条件下仅拿到了 0.247。虽然它被设计为“外部记忆系统”——也就是说专门用来管记忆而不是通用聊天——但这个成绩暴露了一个现实:专精不等于靠谱。当面对复杂、动态、充满隐含信息的真实群聊场景时,哪怕是专门为记忆设计的系统也会显得力不从心。

这篇论文的作者署名里出现了 Zhanghao Hu、Di Liang、Jiasheng Si 等来自腾讯元宝团队的多位核心研究人员。他们不只是提出了一个评测标准,更是通过亲手搭建这套体系,摸清了当前行业在“群聊记忆”这个细分赛道上的真实水位。

腾讯的暗线布局:Personal Agent需要一把尺子

一篇arXiv预印本论文、一份开源代码仓库和一个HuggingFace数据集,看起来更像一场学术合作而非产品发布。但如果放到更大的背景下来看,这实际上是腾讯在Personal Agent赛道上的一次隐性布局。

几乎所有主流科技厂商都在追逐一个叫Personal Agent的方向——即一个能持续学习用户偏好、理解上下文、在多个场景间连贯行动的个人智能助手。这类产品最常见的投诉恰恰集中在一点:它能记住你说过的话,但不确定它是不是真的理解了。

Memory(记忆)在这个方向上既是基础设施又是软肋。没有记忆的智能体是一次性的会话工具,每次对话都从零开始;但有记忆也不等于好用——正如GroupAssistBench所揭示的,当前的AI在“记住并正确使用”之间还隔着一道不小的鸿沟。

这次发布的基准虽然没有直接给出某个具体的新功能上线时间表,但它提供了一套标准化的衡量框架。有了框架,就能比较、能迭代、能说清楚“我们在哪个环节还需要加强”。对于腾讯元宝而言,这意味着产品团队可以从凭感觉优化转向有据可依地打磨体验。

这也解释了为什么论文中特别强调 “$53,349”的标注成本——其中计算算力费占 $36,549(含数据管线搭建和大模型辅助调优),人工津贴 $16,800(含语料清洗标注、协议制定和质量复核)。这不是一个低成本跑通的概念验证,而是一个投入了实质资源的系统性工程。

接下来该看什么

对于关注AI应用落地和行业趋势的人来说,GroupAssistBench 的发布不是一个终点,而是一个需要持续跟踪的起点。以下几个指标值得关注:

第一,是否有更多模型加入这个基准测试。 如果未来几个月内看到Claude、Gemini、通义千问等主流模型陆续跑出GroupAssistBench的分数,那将标志着群聊记忆能力正式进入了行业竞赛的主舞台。

第二,腾讯元宝在产品端是否有对应的记忆功能升级。 学术成果转化为产品特性通常需要一个过程。关注腾讯元宝App的后续更新日志或官方公告,看看RER和ACB的技术思路是否会被封装成面向普通用户的“智能记忆”“群组协作提醒”之类的功能。

第三,RER和ACB能否被复用到其他类型的对话场景中。 目前的测试聚焦在中文群聊环境,但这两个干预机制的底层逻辑具有普适性。如果它们在客服对话、医疗问诊辅助或企业知识管理等领域也能跑出类似效果的提升,那意义将远超单一的产品功能迭代。

第四,当AI的记忆力不再是“有无”的问题而是“好坏”的问题时,用户对智能助手的付费意愿会不会发生结构性变化。 过去很多人愿意为一个能聊几句的AI付费,但对一个“总能记错事”的助理付高价则犹豫得多。如果GroupAssistBench推动的行业整体进步能让“精准调用记忆”从一个亮点变成标配,那么整个Personal Agent赛道的商业化天花板也将随之抬升。



版权声明:本文版权归BT财经所有,未经允许任何单位或个人不得转载,复制或以任何其他方式使用本文全部或部分,侵权必究。
帮助中心
联系我们
联系我们

 

商务合作:

 

公司地址

北京市丰台区汉威国际广场一区一号楼629

 

 

商务合作

周先生

Tel: +86-17743514315

Email: info@btimes.com.cn

官方微信公众号

北京领讯时代信息技术有限公司 | Copyright ©️ 2026 财经时报 版权所有 京ICP备19043396号-7

京公网安备 11010602007380号 | 境内金融信息服务备案编号:京金信备(2021)5号

网信算备110106674807801230011号


声明:未经授权,不得复制、转载或以其他方式使用本网站的内容。BT财经尽最大努力确保数据准确,但不保证数据绝对正确。