先了解这件事
Baseten 工程博客作者基于 MetaInfer 技能框架,让 Claude Code 自主构建并优化推理引擎。在单张 B200 上,其为 Qwen-3.6-35B-A3B(NVFP4)构建的 VibeQwen 单流解码速度最高比 vLLM 0.25.1 快 90%,TTFT 快 2.33 倍,并发 32 时单副本吞吐高出 71%;整个项目约一周,消耗约 17 亿 token 和 200 B200 小时,成本在数千美元量级。作者随后用同一知识库为图像分割模型 SAM 3.1 构建推理服务 Sammie,在单张 H100 上达到 91 张图/秒,比 Facebook 参考服务吞吐提升 50%,耗时数天、约 2 亿 token。目前尚无后续发展。
AI 根据公开报道生成
事件进展
1 个已确认进展
- 来源：Baseten 工程博客
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月3日
A6 a6-047 · Baseten 工程博客一手
Baseten 用 MetaInfer 技能框架让 Claude Code 自主优化推理引擎，单流解码提速最高 90%
Baseten 工程博客作者基于 MetaInfer 技能框架，让 Claude Code 在单张 B200 上为 Qwen-3.6-35B-A3B（NVFP4）自主构建推理引擎 VibeQwen，单流解码速度最高比 vLLM 0.25.1 快 90%，TTFT 快 2.33 倍，并发 32 时单副本吞吐高出 71%。整个项目约一周、消耗约 17 亿 token 和 200 B200 小时，成本在数千美元量级。作者随后用同一知识库为图像分割模型 SAM 3.1 构建推理服务 Sammie，在单张 H100 上达到 91 张图/秒，比 Facebook 参考服务吞吐提升 50%，耗时数天、约 2 亿 token。
Baseten 工程博客一手
Baseten 用 Claude Code 生成推理引擎，解码速度比 vLLM 快 90%
Baseten 工程师让 Claude Code 配合 Fable 5 基于 MetaInfer 技能框架，在单张 B200 上为 Qwen-3.6-35B-A3B 生成推理引擎 VibeQwen，单流解码速度最高比 vLLM 0.25.1 快 90%，TTFT 快 2.33 倍。该实验耗时约一周、消耗约 17 亿 token 和约 200 B200 小时，引擎在全部测试流量模式下均超过 vLLM。作者随后用同一知识库为图像分割模型 SAM 3.1 生成服务端 Sammie，在单张 H100 上达到 91 张图像/秒，吞吐比 Facebook 参考实现提升 50%。