LMSYS 公开 Infer-forge 构建方法论
2026年8月28日,LMSYS 发布 infer-forge 方法论文,公开其围绕 SGLang 的推理工程系统构建方法论。据 LMSYS Blog 介绍,该系统由 MonoRepo、Harness、Task Loop 和 Task Graph 四层结构组成,目标是让跨仓库的推理优化工作可复现、可验证。文章说明 infer-forge 属于内部工程系统,并非 SGLang 或 LMSYS 官方组件,目前不开源,公开的是构建方法论,供团队交给 AI 编码工具并结合自身系统上下文搭建适配实现。文中还给出使用记录:一位工程师 4 月至 7 月的在飞任务峰值从 2 个升至 9 个,DeepSeek-V4-Pro 服务项目中 38 个可独立验证的任务节点被组织成任务图。目前尚无后续发展事实。
匹配字段摘要