FP4成端侧AI关键选择,安谋科技为何能抢占低比特浮点算力先机?
安谋科技2025年11月发布的“周易”X3 NPU IP是行业内首批原生支持FP4的端侧NPU产品,R1、R2两个系列可对接经FP4权重量化调优的端侧大模型。其单核带宽达256GB/s,实测7B模型Prefill阶段算力利用率超过70%,并支持W4A16与W4A8双量化范式。FP4相比FP8可将模型体积理论上再压缩接近50%,相同带宽下理论吞吐量翻倍。
分布、少数离群值幅度大的特征高度吻合,能在同样4比特的预算下保留更完整的权重信息,量化误差显著低于INT4。 FP4的第二重价值在工程生态。INT4很难直接参与模型训练,基本只能做训练后量化(PTQ),精度损失不可控;FP4已获得云端数据格式标准与主流AI硬件的原生支持,例如开放计算项目(OCP)已将FP4 纳入Microscaling(MX)数据格式标准,NVIDIA Blackwell等新一代AI芯片提供对MXFP4、NVFP4的原生硬件支持。更重要的是,FP4支持量化感知训练(QAT)——在训练阶段就模拟量化误差并针对性调优。这一特性可使压缩后的模型仍保持接近原始版本的输出质量,真正实现“体积大幅压缩、效果基本不降级”。 FP4第三重价值在效率路径。产业量化精度的演进路线清晰:FP16或BF16服务于训练与高精度场景,FP8已成为云端推理的主流标准;端侧的存储、带宽与功耗约束比云端更严苛,需要再向下探一级。FP4 相比FP8能将模型体积理论上再压缩接近50%,在相同带宽下理论吞吐量翻倍,恰好匹配端侧设备极致的资源约束。 也就是说,从云端向端侧延伸,FP4有着更好的适配度,其产业趋
匹配字段正文

