Rock Matrix 开源 EdgeRock-4B 文本图像推理模型
Rock Matrix has open-sourced EdgeRock-4B, a small text-and-image reasoning model with fixed-capacity memory.
AI 导读
Rock Matrix 开源了 EdgeRock-4B,一个带固定容量记忆的小型文本与图像推理模型。该模型把最近 1,024 个 token 完整保留、将较早的重要信息存入单独的记忆库,从而让注意力 KV cache 大小保持固定,避免长对话和长推理持续占用更多 GPU 显存。Rock Matrix 报告其在 AIME 2024–2026 上的平均 pass@1 为 82.9%,其测试的最强有界状态模型为 18.8%。
正文 · AI 翻译
Rock Matrix 已开源 EdgeRock-4B,这是一个具有固定容量记忆的小型文本与图像推理模型。
EdgeRock-4B 通过完整保留最近 1,024 个 token,并将较早的重要细节保存到单独的记忆库中,使注意力 KV cache 的大小保持固定。
标准语言模型会持续记录其读取的每一个 token,因此长对话和长推理会随着时间推移占用更多 GPU 显存。
Rock Matrix 报告其在 AIME 2024–2026 上的平均 pass@1 为 82.9%,而其测试的最强有界状态模型为 18.8%。