先了解这件事
AI 综述
2026年10月21日,Saito 硬地骇客发布内容称,有人用 Claude 和 Codex 写了十天,在两周内做出了 llama.cpp 求了一年的专家缓存。同一来源还提到,一个 1250 亿参数的 MoE 模型可在 12GB 显存上运行,只加载其中 2%,每个 token 从 24576 个专家中只用 10 个,未上显存的专家交给 CPU 在内存中计算。目前只有这一条来源,尚无后续发展事实。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：Saito 硬地骇客
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月21日
Saito 硬地骇客
1250 亿参数 MoE 模型在 12GB 显存上运行，24576 个专家每 token 只用 10 个
一个 1250 亿参数的 MoE 模型在 12GB 显存下只加载其中 2%，每个 token 从 24576 个专家中只用 10 个，未上显存的专家交给 CPU 在内存中计算。作者称有人用 Claude 和 Codex 写了十天，两周内做出了 llama.cpp 求了一年的专家缓存。推文附有链接。