1250 亿参数 MoE 模型在 12GB 显存上运行，24576 个专家每 token 只用 10 个
1250 亿参数的模型，12GB 显存只动得了其中 2%。一个 token 在 24576 个专家里只用 10 个，没上操作台的交给 CPU 在内存里算。一个人用 Claude 和 Codex 写了十天，llama.cpp 求了一年的专家缓存，他两周就做出来了。 https://t.co/i3vsI8mUno
AI 导读
一个 1250 亿参数的 MoE 模型在 12GB 显存下只加载其中 2%，每个 token 从 24576 个专家中只用 10 个，未上显存的专家交给 CPU 在内存中计算。作者称有人用 Claude 和 Codex 写了十天，两周内做出了 llama.cpp 求了一年的专家缓存。推文附有链接。
正文
1250 亿参数的模型，12GB 显存只动得了其中 2%。一个 token 在 24576 个专家里只用 10 个，没上操作台的交给 CPU 在内存里算。一个人用 Claude 和 Codex 写了十天，llama.cpp 求了一年的专家缓存，他两周就做出来了。 https://t.co/i3vsI8mUno