先了解这件事
AI 综述
2025年10月10日,蚂蚁 inclusionAI 开源面向扩散语言模型(dLLM)的推理框架 dInfer 首个版本。据其 GitHub 新仓库介绍,该框架将推理拆分为模型、扩散迭代管理器、解码器和 KV-cache 管理器四个模块,并支持批量推理,兼容 LLaDA、LLaDA-MoE 和 LLaDA2 系列。性能方面,在 8×H800 单节点上,LLaDA-MoE 于 batch size 1 时 HumanEval 超过 1,100 TPS,六个 benchmark 平均 800+ TPS,比 Fast-dLLM 快 10 倍且保持精度。目前尚无后续开发进展的公开事实。
AI 根据公开报道生成
最新进展 · 正式报道
蚂蚁 inclusionAI 开源 dInfer：面向扩散语言模型的高效推理框架事件进展
1 个已确认进展
- 来源：蚂蚁 inclusionAI：GitHub 新仓库
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
11月3日
蚂蚁 inclusionAI：GitHub 新仓库一手
蚂蚁 inclusionAI 开源 dInfer：面向扩散语言模型的高效推理框架
蚂蚁 inclusionAI 开源 dInfer，一个面向扩散语言模型（dLLM）的高效推理框架，将推理拆分为模型、扩散迭代管理器、解码器和 KV-cache 管理器四个模块，并支持批量推理。它支持 LLaDA、LLaDA-MoE 和 LLaDA2 系列，在 8×H800 单节点上 LLaDA-MoE 于 batch size 1 时 HumanEval 超过 1,100 TPS，六个 benchmark 平均 800+ TPS，比 Fast-dLLM 快 10 倍且保持精度。