AI News

UCSD Hao AI Lab 推出 vstack 与 veriserve 可验证推理引擎

UCSD Hao AI Lab更新于 11月12日 03:46

Towards Verifiable LLM Infra 🚀

AI 导读

UCSD Hao AI Lab 发布 vstack 五阶段形式化验证工作流与可验证 PD 分离式推理引擎 veriserve,在生产引擎中发现 3 类真实 RDMA 与缓存竞态,并提出 6 项上游修复。veriserve 的 KV-page 生命周期设计模型由 226 个模块、516,973 条义务的 TLAPS 安全证明支撑,在 4 卡 GB200 上运行 Qwen3-32B 时平均 p50 TPOT 开销仅 +0.18%。

正文 · AI 翻译

迈向可验证的 LLM 基础设施 🚀

假设编码智能体能够从零构建一个快速推理引擎,并且一名工程师并行编排 10,000 个智能体:我们如何知道它们编写的引擎实际上是正确的?与经验验证和形式化验证相比,让智能体审查其他智能体大多是在浪费 token。

我们推出 vstack,一个面向编码智能体的 5 阶段形式化验证工作流,以及 veriserve,一个可验证的 PD 分离式服务引擎:在生产服务引擎中揭示了 3 类真实的 RDMA 与缓存竞态,并以一个包含 226 个模块、516,973 条义务的 TLAPS 安全证明为 veriserve 的 KV-page 生命周期设计模型提供支撑,在 GB200 上平均 p50 TPOT 开销为 +0.18%。

博客:https://t.co/SdbINvSVht veriserve:https://t.co/ugHLToReCN vstack:https://t.co/GZJebbjdpL

来源

UCSD Hao AI Lab