Meta 新论文提出 ProPerMem 基准:主动式助手难在自主判断何时打断
New Meta paper shows that deciding on its own when to interrupt, not just what to say, is where proactive assistants fail.
Meta 新论文指出,主动式助手(如 AI 眼镜)的失败点在于自主判断何时开口,而不只是说什么。团队构建了 ProPerMem 基准,用第一视角视频搭配平均 618K token、干扰丰富的全年记忆,并设有人工核验的触发窗口。所有基线得分最高仅 15%,即便使用检索增强记忆的前沿模型也是如此;在窗口内提供 oracle 证据时 GPT-5.3-Chat 达到 96%,但让它自行选择时机后降至 38%,加入检索后降至 15%。同时把握内容与时机并减少触发频率,可把准确率从不足 10% 提升到 42.4%。
推荐理由
AI 评分 56
Meta 的 ProPerMem 基准把主动式助手的失败点定位在自主判断何时开口,而非说什么。
主题
正文 · AI 翻译
Meta 的新论文表明,主动式助手失败的关键在于自主判断何时打断,而不只是说什么。
主动式助手(如 AI 眼镜)不会收到查询。它们必须通过在一年的个人记忆中寻找可佐证的事实,来决定何时开口以及说什么,而不是由他人提供。
他们构建了 ProPerMem:第一视角视频搭配干扰丰富、长达一年、平均 618K token 的记忆,并设有人工核验的触发窗口。只有当助手在窗口内恰当时机开口且内容有据可依时,该片段才计为正确。
所有基线得分最高仅为 15%,即便是具备检索增强记忆的前沿模型也是如此。在窗口内提供 oracle 证据时,GPT-5.3-Chat 达到 96%,但让它自行选择时机后降至 38%,加入检索后降至 15%。
对于主动式助手而言,要同时把握内容与时机并减少触发频率,这可将准确率从不足 10% 提升至 42.4%。