←事件详情

热点事件

LMSYS 介绍用 SGLang Score API 服务决策模型

1 篇正式报道1 条事件动态更新于 9月25日 08:00

先了解这件事

AI 综述

2026年9月25日,LMSYS 发布文章,介绍如何用 SGLang 的 /v1/score 接口服务类 JEV 决策模型。文章说明,调用方通过 label_token_ids 显式请求标签 token 分数,而非依赖生成响应的 top-k logprobs。SGLang 支持单条评分(SIS)与多条评分(MIS),其中 MIS 在单次请求内复用共享 query 计算并保持各候选隔离,在测试负载下延迟随候选数量增长明显更小。文章还对比了 Fused-Choice 与 Setwise 评分,并给出部署与请求示例。目前该介绍由 LMSYS Blog 作为第一方来源发布,尚无后续发展事实。

AI 根据公开报道生成

最新进展 · 正式报道

用 SGLang 扩展类 JEV 决策模型:Score API 与 MIS 评分

事件进展

1 个已确认进展

  1. LMSYS 介绍用 SGLang Score API 服务决策模型

    来源:LMSYS Blog

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

9月25日

  1. LMSYS Blog一手

    用 SGLang 扩展类 JEV 决策模型:Score API 与 MIS 评分

    LMSYS 介绍如何用 SGLang 的 /v1/score 接口服务类 JEV 决策模型:调用方通过 label_token_ids 显式请求标签 token 分数,而非依赖生成响应的 top-k logprobs。SGLang 支持单条评分(SIS)与多条评分(MIS),MIS 在单次请求内复用共享 query 计算并保持各候选隔离,在测试负载下延迟随候选数量增长明显更小。文章还对比了 Fused-Choice 与 Setwise 评分,并给出部署与请求示例。

关联事件

  1. 相关事件Modal 分享为编码智能体优化 Kimi K2.6 推理性能
  2. 相关事件LMSYS 在 SGLang 中实现 NVFP4 KV 缓存
  3. 相关事件LMSYS 在 NVIDIA Vera Rubin 上跑通 SGLang 与 Miles
  4. 相关事件DeepSeek发布DeepSeek-V4.1-Flash-1017