PrismML 发布 Ternary Bonsai 2 系列模型,2B 到 9B 可在手机本地运行
AI 公司 PrismML 于 10 月 15 日发布 Ternary Bonsai 2 系列模型,包含 2B、4B 和 9B 三种规模,基于阿里的 Qwen 3.5 基座构建,采用仅用 -1、0、+1 三种数值编码参数的三元权重表示法,存储占用分别约为 0.43GB、0.95GB 和 2GB。官方称在 RTX 4090 和 M5 Pro 等硬件上相较对应全精度模型最高可实现 5 倍吞吐量和 3 倍能效,iPhone 18 Pro Max 上 9B 模型最高每秒 34 个词元、2B 模型最高每秒 120 个词元。模型权重以 Apache 2.0 许可证开放,开发者可通过 llama.cpp 在 NVIDIA GPU 上运行,或通过 MLX 在 Mac、iPhone 和 iPad 上部署。
#模型发布#端侧#开源生态