先了解这件事
事件摘要
还没有公开综述,先看下面的报道时间线。
最新进展 · 正式报道
Ubicloud 如何用 vLLM 约束解码把工具调用准确率从 92% 提升到 100%事件进展
1 个已确认进展
- 来源:Hacker News 热门
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
10月26日
Hacker News 热门
Ubicloud 如何用 vLLM 约束解码把工具调用准确率从 92% 提升到 100%
Ubicloud 在 vLLM 0.28 上部署 Kimi K2.6 时,工具调用 schema 准确率只有 92%,即每 25 次调用有 2 次失败。vLLM 0.31 将约束解码做成服务端开关,借助 XGrammar 的结构化标签在生成阶段屏蔽非法 token,Ubicloud 开启后 K2VV ToolCall 基准上的准确率升至 100%,并已部署到生产环境。文章还解释了 vLLM 默认关闭该功能的原因,包括部分模型输出偏离 schema、语法转换 bug 以及与投机解码的交互问题。