←事件详情

热点事件

Ubicloud启用vLLM约束解码提升工具调用准确率

1 篇正式报道1 条事件动态更新于 10月26日 20:59

先了解这件事

事件摘要

还没有公开综述,先看下面的报道时间线。

最新进展 · 正式报道

Ubicloud 如何用 vLLM 约束解码把工具调用准确率从 92% 提升到 100%

事件进展

1 个已确认进展

  1. Ubicloud启用vLLM约束解码提升工具调用准确率

    来源:Hacker News 热门

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

10月26日

  1. Hacker News 热门

    Ubicloud 如何用 vLLM 约束解码把工具调用准确率从 92% 提升到 100%

    Ubicloud 在 vLLM 0.28 上部署 Kimi K2.6 时,工具调用 schema 准确率只有 92%,即每 25 次调用有 2 次失败。vLLM 0.31 将约束解码做成服务端开关,借助 XGrammar 的结构化标签在生成阶段屏蔽非法 token,Ubicloud 开启后 K2VV ToolCall 基准上的准确率升至 100%,并已部署到生产环境。文章还解释了 vLLM 默认关闭该功能的原因,包括部分模型输出偏离 schema、语法转换 bug 以及与投机解码的交互问题。

关联事件

  1. 相关事件DeepSeek上线Search与Fetch API
  2. 相关事件DeepSeek发布DeepSeek-V4.1-Flash-1017
  3. 相关事件Anthropic发布Claude Opus 5.5
  4. 相关事件DeepSeek开源推理框架DeepInfer