面壁 MiniCPM-V 4.7 在 iPhone 上实现 20.51 tokens/sec
35B multimodal AI. Running locally on an iPhone. Now at over 20 tokens/sec. 🚀
面壁智能的 MiniCPM-V 4.7 在 iPhone 18 Pro Max（12GB）上实现 20.51 tokens/sec 的平均解码速度，相比同一设备未优化的 SSD 专家加载基线提速 6.07 倍。该速度来自 Lookahead Expert Scheduling（LES）、优化的专家加载、细粒度量化和 DSpark 投机解码。模型已在 GitHub 和 Hugging Face 开放。
推荐理由
精选AI 评分 65
面壁智能给出 35B 多模态模型在 iPhone 上的实测解码速度与加速手段，可据此判断端侧大模型的落地进度。
主题
正文
当前显示原文，中文全文译文尚未就绪。
35B multimodal AI. Running locally on an iPhone. Now at over 20 tokens/sec. 🚀
MiniCPM-V 4.7 achieves 20.51 tokens/sec average decoding speed on iPhone 18 Pro Max (12GB) — a 6.07× speedup over the same device’s unoptimized SSD expert-loading baseline.
⚡ Behind the speed: Lookahead Expert Scheduling (LES), optimized expert loading, fine-grained quantization, and DSpark speculative decoding.
📱 Watch the new on-device demo below. Powerful multimodal AI, right in your pocket.
#MiniCPM #OpenBMB