AI News

Hao AI Lab 推出 veriserve 可验证推理引擎

UCSD Hao AI Lab更新于 11月12日 03:45

veriserve resolves this trade-off with PdLedger, tracking every physical page with a versioned (page, gen) ticket. Timed-out pages without stop evidence stay is

AI 导读

UCSD Hao AI Lab 发布 veriserve 可验证 PD 分离推理引擎,用 PdLedger 以带版本的 (page, gen) 票据追踪每个物理页,超时且无停止证据的页面留在 QUARANTINED 隔离,避免污染 KV cache。在 4 卡 NVIDIA GB200、Qwen3-32B 上,PdLedger 仅增加 0.18% 的 p50 TPOT 均值开销(95% CI 上界 +0.68%),拦截全部 3 个注入的 glue 故障,并通过 TLC 回放 100% 的 22,104 个边界事件。配套 vstack 五阶段形式化验证流程还发现生产引擎中 3 类 RDMA 与 cache 竞态,提出 6 项上游修复。

正文 · AI 翻译

veriserve 通过 PdLedger 解决了这一权衡问题,用带版本的 (page, gen) 票据追踪每个物理页。没有停止证据的超时页面会隔离在 QUARANTINED 中,使请求快速失败而不会污染缓存,而完成的传输则干净地排空至 FREE。

在配备 Qwen3-32B 的 4-GPU NVIDIA GB200 节点上,PdLedger 仅增加 +0.18% 的平均 p50 TPOT 开销,95% CI 上界为 +0.68%,拒绝了全部 3 个注入的 glue 故障,并通过 TLC 回放了 22,104 个边界事件中的 100%。更多可验证的推理服务即将推出!

来源

UCSD Hao AI Lab