Ubicloud 如何用 vLLM 约束解码把工具调用准确率从 92% 提升到 100%

Ubicloud 在 vLLM 0.28 上部署 Kimi K2.6 时，工具调用 schema 准确率只有 92%，即每 25 次调用有 2 次失败。vLLM 0.31 将约束解码做成服务端开关，借助 XGrammar 的结构化标签在生成阶段屏蔽非法 token，Ubicloud 开启后 K2VV ToolCall 基准上的准确率升至 100%，并已部署到生产环境。文章还解释了 vLLM 默认关闭该功能的原因，包括部分模型输出偏离 schema、语法转换 bug 以及与投机解码的交互问题。