先了解这件事
面壁智能的 MiniCPM-V 4.7 在 iPhone 18 Pro Max(12GB)上实现 20.51 tokens/sec 的平均解码速度,相比同一设备未优化的 SSD 专家加载基线提速 6.07 倍。该速度来自 Lookahead Expert Scheduling(LES)、优化的专家加载、细粒度量化和 DSpark 投机解码。后续报道进一步说明,该方案通过跨层路由预测预取下一层可能需要的专家、并行加载剩余专家,并对专家权重做连续存储重排和逐层混合精度量化,同时配合 DSpark 投机采样;模型为 35B 总参数、每 token 激活 3B 的 MoE 架构,原始模型架构与专家路由保持不变,无需额外训练。模型已在 GitHub 和 Hugging Face 开放。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：面壁智能 OpenBMB
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月21日
面壁智能 OpenBMB
面壁智能 MiniCPM-V 4.7 在 iPhone 上实现 20.51 tokens/s 端侧推理
面壁智能 OpenBMB 公布 MiniCPM-V 4.7 的端侧推理方案，在 iPhone 18 Pro Max（12GB）上平均解码速度达 20.51 tokens/s，相比同一设备未优化的 SSD 专家加载基线提升 6.07 倍。该方案名为 Lookahead Expert Scheduling（LES），通过跨层路由预测预取下一层可能需要的专家、并行加载剩余专家，并对专家权重做连续存储重排和逐层混合精度量化，同时配合 DSpark 投机采样。模型为 35B 总参数、每 token 激活 3B 的 MoE 架构，原始模型架构与专家路由保持不变，无需额外训练。
10月20日
面壁智能 OpenBMB精选
面壁 MiniCPM-V 4.7 在 iPhone 上实现 20.51 tokens/sec
面壁智能的 MiniCPM-V 4.7 在 iPhone 18 Pro Max（12GB）上实现 20.51 tokens/sec 的平均解码速度，相比同一设备未优化的 SSD 专家加载基线提速 6.07 倍。该速度来自 Lookahead Expert Scheduling（LES）、优化的专家加载、细粒度量化和 DSpark 投机解码。模型已在 GitHub 和 Hugging Face 开放。