先了解这件事
AI 综述
VocabX 提出一种按成本选择词表的领域词表专门化方法。该方法不再只按频次挑选 token,而是同时重建子词切分与多词合并,把领域专用小模型的词表压缩到更小规模。据其说明,以评分模型为例,生成一个 token 的成本是读取一个 token 的 7.4 倍,输出层词表从约 152,000 行减到约 65,000 行,在实际应用中把推理成本降低 77%。该方法针对 Qwen3-4B 这类小模型在中等批量下的内存带宽瓶颈;FVT、MWT 和 in-place BPE 等方法只按频次选词、只处理单一层面。目前该工作以 Hugging Face 发布的一手材料为公开证据,尚无后续进展。
AI 根据公开报道生成
最新进展 · 正式报道
VocabX 如何通过专精 SLM 词表将实际应用推理成本降低 77%事件进展
1 个已确认进展
- 来源：Hugging Face
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月22日
Hugging Face一手
VocabX 如何通过专精 SLM 词表将实际应用推理成本降低 77%
VocabX 通过按成本而非频次选择 token、同时重建子词切分与多词合并，把领域专用小模型的词表压缩到更小规模，在实际应用中把推理成本降低 77%。以评分模型为例，生成一个 token 的成本是读取一个 token 的 7.4 倍，输出层词表从约 152,000 行减到约 65,000 行。该方法针对 Qwen3-4B 这类小模型在中等批量下的内存带宽瓶颈，而 FVT、MWT 和 in-place BPE 等方法只按频次选词、只处理单一层面。