AI News

Hao AI Lab 推出 vstack 与 veriserve 验证推理引擎

UCSD Hao AI Lab更新于 11月12日 03:45

In PD-disaggregated serving, a GPUDirect RDMA race often returns HTTP 200 OK while silently mixing one user's KV cache into another's response. Applying vstack

AI 导读

Hao AI Lab 发布面向编码智能体的 5 阶段形式化验证流程 vstack 和可验证 PD 分离推理引擎 veriserve,在生产引擎中发现 3 类 RDMA 与缓存竞态问题,并提出 6 项上游修复。veriserve 的 KV 页生命周期设计由 226 模块、516,973 条义务的 TLAPS 安全证明支撑,在 4 卡 GB200 上运行 Qwen3-32B 时平均 p50 TPOT 开销仅 +0.18%。

正文 · AI 翻译

在PD分离服务中,GPUDirect RDMA竞态常常返回HTTP 200 OK,却在用户不知情的情况下将一个用户的KV缓存混入另一个用户的响应。应用vstack在生产引擎中发现了3类RDMA与缓存生命周期缺陷,由此提出了6项上游修复。

借助TLAPS和Z3,我们还证明了为何在单边RDMA下本地超时机制会失效:在没有硬件停止或撤销证据的情况下,任何仅依赖本地的超时策略要么在过早释放页面时面临内存损坏风险,要么无限期持有已暴露的页面。

来源

UCSD Hao AI Lab