先了解这件事
2026年10月22日,StartLux原点星辉开源其自研推理引擎Prism,称其为首款专门面向决策模型打造并对外开源的推理引擎。据智东西报道,在单张H200上,Prism处理单个短问题比原vLLM方案快2.8倍,同一份材料连问三个问题最快提速5.3倍。团队称提速来自收敛输出计算范围、森林式计算、int8整数运算和混排调度四项改动;在231题跨引擎对比中,单题平均延迟41毫秒,低于SGLang的75.6毫秒和vLLM的112.7毫秒。团队同时公开了完整引擎代码和优化逻辑。目前尚无该开源发布之后的新进展。
AI 根据公开报道生成
最新进展 · 正式报道
StartLux开源决策模型推理引擎Prism,单卡推理最高提速5.3倍事件进展
1 个已确认进展
- 来源:智东西
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
10月23日
智东西
StartLux开源决策模型推理引擎Prism,单卡推理最高提速5.3倍
StartLux原点星辉开源自研推理引擎Prism,专门面向决策模型,在单张H200上处理单个短问题比原vLLM方案快2.8倍,同一份材料连问三个问题最快提速5.3倍。Prism围绕收敛输出计算范围、森林式计算、int8整数运算和混排调度四项改动重构推理流程,在231题跨引擎对比中单题平均延迟41毫秒,低于SGLang的75.6毫秒和vLLM的112.7毫秒。团队同时公开了完整引擎代码和优化逻辑,其决策模型StartLux-Decision-v1.1此前以69.1分登上Hugging Face Decision Index 0.3.2榜首。
凤凰科技
StartLux 开源决策模型推理引擎 Prism,单卡推理最高快 5.3 倍
StartLux 原点星辉开源自研推理引擎 Prism,称其为首款专门面向决策模型打造并对外开源的推理引擎。在单张 H200 上,Prism 处理单个短问题比原 vLLM 0.31 方案快 2.8 倍,同一份材料连问三个问题最快提速 5.3 倍。团队称其通过收敛输出层计算范围、森林式计算、int8 整数运算和混排调度四项优化实现提速,在 231 题跨引擎对比中单题平均延迟 41 毫秒。
本事件热度走势
- 当前
- 5
- 区间峰值
- 14 10月24日 09:00
- 近 24 小时变化
- —
移动指针或点击图表可查看每小时热度;键盘可用左右方向键切换。