FastH3 用 1000 条提示词校准 FP4 层
6/8) Four bits without clipping.
AI 导读
6/8）四位量化且不裁剪。 在未校准的 FP4 scale 下，H3 的激活值在 42 个 block 中有 40 个发生裁剪，其中一个 block 达到上限的 137 倍。我们在 1,000 条提示词上校准了每个 FP4 层，因此大激活值得以保持完整。
正文
当前显示原文，中文全文译文尚未就绪。
6/8) Four bits without clipping.
With an uncalibrated FP4 scale, H3's activations clip in 40 of 42 blocks, and one block reaches 137× the limit. We calibrated every FP4 layer on 1,000 prompts, so large activations stay intact. https://t.co/GnRs8NaIPu