先了解这件事
AI 综述
2026年9月8日,Cohere发布面向North Mini Code的Megakernel推理服务引擎并开放GitHub代码。该引擎在单张H100上以BF16运行,端到端平均解码吞吐量较vLLM提升1.25至1.41倍;批大小为1时达到292 tok/s,为vLLM的1.58倍。它支持连续批处理、分页注意力、流式输出、前缀缓存、工具调用及OpenAI兼容接口。目前最大批大小为8,预填充仍由普通PyTorch内核运行,期间会暂停解码。
AI 根据公开报道生成
最新进展 · 正式报道
Cohere 发布 North Mini Code Megakernel 推理服务引擎事件进展
1 个已确认进展
- 来源：Cohere 产品与研究博客
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
9月8日
Cohere 产品与研究博客一手精选
Cohere 发布 North Mini Code Megakernel 推理服务引擎
Cohere 发布面向 North Mini Code 的 Megakernel 推理服务引擎，在单张 H100 上以 BF16 运行，端到端平均解码吞吐量比 vLLM 快 1.25× - 1.41×。该引擎支持连续批处理、分页注意力、流式输出、前缀缓存和工具调用，并提供 OpenAI 兼容接口；其代码已在 GitHub 开放。批大小为 1 时，Megakernel 达到 292 tok/s，为 vLLM 的 1.58×，但当前最大批大小为 8，且预填充仍由普通 PyTorch 内核运行并会暂停解码。