AI 热点

Hao AI Lab 用 vstack 发现 SGLang 流式 stop-string 截断缺陷

UCSD Hao AI Lab更新于 11月18日 02:29

(4/8) Streaming stop-string trimming issue: in streaming mode, SGLang can send the client the start of a stop string when a later character is split across toke

AI 导读

Hao AI Lab 用 vstack 在 SGLang 中发现流式 stop-string 截断缺陷:字节级 tokenizer 把多字节字符拆到多个 token 时,尾部解码出 U+FFFD 会破坏前缀检查,导致 stop string 开头被提前发给客户端。在 GB200 上用 Qwen3-4B、默认参数测试,chat 与 completions 端点 8 次流式对比中 8 次未截断,额外检查去掉尾部 U+FFFD 的文本后降为 0 次。该问题属其与 SGLang 社区合作提出的 20+ 个问题之一。

正文 · AI 翻译

(4/8) 流式 stop-string 截断问题:在流式模式下,当后续字符被拆分到不同 token 中时,SGLang 可能会把 stop string 的开头部分发送给客户端。

这会破坏 stop-string 截断:流式生成和非流式生成必须在完全相同的 stop string 之前停止。

字节级 tokenizer 经常会把 emoji 和 CJK 字符拆分到多个 token 中。当解码后的尾部与某个 stop-string 前缀匹配时,SGLang 会暂缓发送流式文本,但一个只携带多字节字符前几个字节的 token 会解码为 U+FFFD,从而破坏该前缀检查,并提前把 stop string 中可打印的开头部分发送出去。

在 GB200 上使用 Qwen3-4B、默认参数时,在 chat 和 completions 端点的 8 次流式对比中,stop-string 前缀有 8 次未被截断就发出;在额外检查去掉尾部 U+FFFD 后的文本后,降为 0 次。

PR:https://t.co/KpPlSIEjGM

来源

UCSD Hao AI Lab