纯C推理框架Colibrì走红GitHub:25GB笔记本跑744B GLM-5.2,SSD当显存用
GitHub 开源项目 Colibrì 用纯 C 实现分层推理,把 MoE 模型不常用的路由专家放在 NVMe SSD 上按需读取,让 744B 的 GLM-5.2 在最低 16GB、推荐 24GB 左右 RAM 的机器上运行,GPU 不是必需品,项目已获 32k Star。作者最初的开发机只有 12 核 CPU 加 25GB RAM,冷缓存时速度约 0.05~0.1 token/s,靠 LRU 缓存、专家使用频次统计和提前一层预测专家(可预测性 71.6%)把速度提上来,128GB RAM 纯 CPU 桌面机约 1.8 token/s,6 张 RTX 5090 可达 5.8~6.8 token/s。目前它已覆盖 9 个模型家族,从 GLM-5.2/5.3、DeepSeek V4 Flash、Qwen 到 975B 的 Inkling 和 2.8T 参数的 Kimi K3,后者约需 1.6TB 存储、RAM 32GB 起步。
匹配字段标题


