OpenBMB 发布 MiniCPM-V 4.7 端侧多模态模型
OpenBMB 发布 MiniCPM-V 4.7
OpenBMB 发布 MiniCPM-V 4.7，这是可在手机本地运行的开源 MoE 多模态模型，35B-A3B 参数，在 iPhone 17 Pro Max 上仅占 3 GB 内存，解码速度 13+ tokens/s。其 LES（前瞻专家调度）通过跨层路由预测提前加载专家权重，配合量化与存储布局优化，在真实设备上取得约 5 倍加速。面向开发者的 SRFT（自回放微调）在微调窄任务前用模型自生成标签做回放，以 Task:Replay = 4:1 混入任务数据，跨四个模型验证遗忘降低 80%–99%，任务性能基本无损。
查看原帖🎬 35B MoE multimodal AI. On your phone. With just 3GB of memory. 🤯 This is MiniCPM-V 4.7 in action: reading real-world signs, planning around constraints, parsing complex documents, and reasoning over visual data. Powered by LES (Lookahead Expert Scheduling), the 35B-A3B model brings efficient MoE inference to mobile devices, while the lightweight 1B…
展开完整原文
🎬 35B MoE multimodal AI. On your phone. With just 3GB of memory. 🤯 This is MiniCPM-V 4.7 in action: reading real-world signs, planning around constraints, parsing complex documents, and reasoning over visual data. Powered by LES (Lookahead Expert Scheduling), the 35B-A3B model brings efficient MoE inference to mobile devices, while the lightweight 1B variant delivers capable multimodal understanding on resource-constrained hardware. 🛠️ With Self-Replay Fine-Tuning (SRFT), developers can customize models for new tasks while maintaining general performance. From iOS to Android, MiniCPM-V 4.7 makes powerful multimodal AI more practical to run locally. Try it 👇 🔗 https://t.co/msjm2QlrvX 🤗 https://t.co/W95QKGhymw Self-Replay Fine-Tuning: https://t.co/asg1reRCtW
正文
OpenBMB 发布 MiniCPM-V 4.7
首个能在手机本地流畅运行、且不牺牲性能的开源 MoE 多模态模型，35B-A3B 参数，在 iPhone 17 Pro Max 上仅占 3 GB 内存，解码速度 13+ tokens/s https://t.co/3jiSNWPteh
# 两项关键技术需要关注
1. LES（前瞻专家调度），让 35B 模型装进 3GB 内存 这是最核心的工程突破。原理并不神秘：MoE 模型的专家权重不必全部驻留内存，可以放在闪存里按需加载，但随机加载会造成明显卡顿。LES 通过跨层路由预测（预判下一层会用到哪些专家并提前加载，同时优先计算已在内存中的专家）把加载停顿大幅压低，配合量化和存储布局优化，在真实设备上取得约 5 倍加速。这本质上是把瓶颈从“内存容量”转移到了“闪存带宽 + 预测命中率”，属于系统层面的创新而非模型结构创新。
2. SRFT（自回放微调），解决定制化时的灾难性遗忘 面向开发者的微调方案，思路相当优雅：微调窄任务前，先让模型自己为一批覆盖原有能力的通用 prompt 生成回答，经拒绝采样筛选后，以 Task:Replay = 4:1 混入任务数据做普通 SFT。训练流程完全不变，只改数据。关键洞察在于标签必须 on-policy（来自模型自身的分布）；消融实验显示，同样的数据量，自生成标签把通用能力退化压到 1.58 分，外部标签只能压到 5.58。跨四个模型验证，遗忘降低 80%–99%，任务性能基本无损。