先了解这件事
AI 综述
2026年10月7日,llama.cpp作者Georgi Gerganov介绍,llama.cpp可以通过ggml RPC后端在异构设备上分发推理。他表示该能力目前属于高级设置,并预计未来会降低普通用户的使用门槛。被引用的演示显示,MiMo 2.6 Flash的原生mxfp4权重可跨RTX 6000 GPU与M5笔记本运行,在10 GbE下达到40 tokens/sec,且llama.cpp开箱支持。目前该故事没有后续发展事实,状态停留在上述介绍与演示。
AI 根据公开报道生成
最新进展 · 正式报道
llama.cpp 通过 ggml RPC 后端在异构设备上分发推理事件进展
1 个已确认进展
- 来源：Georgi Gerganov
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月8日
Georgi Gerganov
llama.cpp 通过 ggml RPC 后端在异构设备上分发推理
llama.cpp 作者 Georgi Gerganov 表示，llama.cpp 可以通过 ggml RPC 后端在异构设备上分发推理，目前属于高级设置，他预计未来会降低普通用户的使用门槛。被引用的演示显示，MiMo 2.6 Flash 的原生 mxfp4 权重可跨 RTX 6000 GPU 与 M5 笔记本运行，在 10 GbE 下达到 40 tokens/sec，llama.cpp 开箱支持。