VocabX 如何通过专精 SLM 词表将实际应用推理成本降低 77%
VocabX 通过按成本而非频次选择 token、同时重建子词切分与多词合并,把领域专用小模型的词表压缩到更小规模,在实际应用中把推理成本降低 77%。以评分模型为例,生成一个 token 的成本是读取一个 token 的 7.4 倍,输出层词表从约 152,000 行减到约 65,000 行。该方法针对 Qwen3-4B 这类小模型在中等批量下的内存带宽瓶颈,而 FVT、MWT 和 in-place BPE 等方法只按频次选词、只处理单一层面。
永远不会使用的词表进行评分。在我们的评分器中,这一改动将实测推理成本降低了 77%,而基础模型和训练配方均保持不变。 专精通常始于数据和权重。它也可以更早一步开始,即从词表开始。 完整方法、每项实验的表格以及被弃用的干预措施都将收录在 VocabX 论文中,我们很快就会发表。 来源 Dharma-AI。“VocabX:面向领域专用语言模型的成本加权词表适配。” 准备中(2026)。 Gee, Leonidas, et al. “用于语言模型压缩的快速词表迁移。” EMNLP Industry Track(2022)。 Gee, Leonidas, et al. “用于序列压缩的多词分词。” EMNLP Industry Track(2023)。 Smith, Jimmy T.H., et al. “预训练 LLM 的原位分词器扩展。” arXiv:2607.15232(2026)。 延伸阅读 为什么专精是不可避免的 在 Hugging Face 上探索 Dharma AI,试用我们的演示、下载我们的开放模型,并了解专用 AI 系统如何在真实企业应用中优于通用模型。 来自该作者的更多内容
匹配字段正文


