记忆张量开源发布 MemT 1.0 系列记忆原生模型
记忆张量开源发布 MemT 1.0 系列记忆原生模型,包含 36B 参数、激活 3B 的 Nano 和 288B 参数、激活 17B 的 Flash 两个型号,基座分别为 Qwen3.6-35B-A3B 和 DeepSeek-V4-Flash。模型在选定的 Transformer 模块中加入与注意力并行的记忆分支,把经验编码为可更新的矩阵状态并参与后续生成。在 500 项 SWE-bench Verified 任务中,Nano 关键断点平均成功率 69.73%,无经验基线为 66.07%;128K 长历史下端到端推理速度约为完整上下文方案的 1.86 倍,每条轨迹持久状态占用为完整上下文 KV Cache 的六十六分之一。
,这就是记忆原生值得做的具体体现。 再来一个更接近我们日常办公的信息更新场景。 展览原定周六下午3点,后来正式改到周日下午4点。之后又有人建议改到周一,但还没确定拍板。 要记住最后出现的日期还不够,它还得分清正式决定和随口建议,以及保留那些没变的内容。 实验在经过多轮对话后,MemT-1.0-Nano仍然成功get,回答出了原定时间、正式修改后的时间,并确认其他安排没有变化。 放进11项记忆基准的综合评估中,Flash和Nano的表现也同样突出。 平均得分分别为50.6和47.0,位列参与评估的参数化记忆方法前两名,相比其它模型断崖式领先。 不过坦白来说,文本记忆系统整体仍有优势,尤其是在长历史的细节召回上。 MemT 1.0今天交出的,还只是记忆原生新思路的初步计算实现,但实际效果已经能和文本记忆比肩,再继续发展下去,潜力亦是无限。 记忆原生,原生在哪里? 那么问题来了,经验没有留在任务上下文里,模型又是从哪里把它用上的? 这恰是MemT 1.0的架构重点。 MemT 1.0提供的原生路径,是先将相关经验编码为内部动态状态。生成后续动作时,当前查询通过专门的记忆分支读取该状态,再将结
匹配字段正文