←事件详情

热点事件

StartLux开源决策模型推理引擎Prism

2 篇正式报道1 条相关讨论3 条事件动态更新于 10月23日 19:50

先了解这件事

AI 综述

2026年10月22日,StartLux原点星辉开源其自研推理引擎Prism,称其为首款专门面向决策模型打造并对外开源的推理引擎。据智东西报道,在单张H200上,Prism处理单个短问题比原vLLM方案快2.8倍,同一份材料连问三个问题最快提速5.3倍。团队称提速来自收敛输出计算范围、森林式计算、int8整数运算和混排调度四项改动;在231题跨引擎对比中,单题平均延迟41毫秒,低于SGLang的75.6毫秒和vLLM的112.7毫秒。团队同时公开了完整引擎代码和优化逻辑。目前尚无该开源发布之后的新进展。

AI 根据公开报道生成

最新进展 · 正式报道

StartLux开源决策模型推理引擎Prism,单卡推理最高提速5.3倍

事件进展

1 个已确认进展

  1. StartLux开源决策模型推理引擎Prism

    来源:智东西

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

10月23日

  1. 智东西

    StartLux开源决策模型推理引擎Prism,单卡推理最高提速5.3倍

    StartLux原点星辉开源自研推理引擎Prism,专门面向决策模型,在单张H200上处理单个短问题比原vLLM方案快2.8倍,同一份材料连问三个问题最快提速5.3倍。Prism围绕收敛输出计算范围、森林式计算、int8整数运算和混排调度四项改动重构推理流程,在231题跨引擎对比中单题平均延迟41毫秒,低于SGLang的75.6毫秒和vLLM的112.7毫秒。团队同时公开了完整引擎代码和优化逻辑,其决策模型StartLux-Decision-v1.1此前以69.1分登上Hugging Face Decision Index 0.3.2榜首。

  2. 凤凰科技

    StartLux 开源决策模型推理引擎 Prism,单卡推理最高快 5.3 倍

    StartLux 原点星辉开源自研推理引擎 Prism,称其为首款专门面向决策模型打造并对外开源的推理引擎。在单张 H200 上,Prism 处理单个短问题比原 vLLM 0.31 方案快 2.8 倍,同一份材料连问三个问题最快提速 5.3 倍。团队称其通过收敛输出层计算范围、森林式计算、int8 整数运算和混排调度四项优化实现提速,在 231 题跨引擎对比中单题平均延迟 41 毫秒。

  3. 凤凰科技相关讨论

    凤凰科技 参与了这场讨论

    原帖参与热度计算,不等同于正式报道或已确认事实。

本事件热度走势

当前
5
区间峰值
14 10月24日 09:00
近 24 小时变化
—

移动指针或点击图表可查看每小时热度;键盘可用左右方向键切换。

关联事件

  1. 相关事件DeepSeek开源推理框架DeepInfer
  2. 相关事件SGLang原生支持并驱动Beam生产API
  3. 相关事件DeepSeek发布DeepSeek-V4.1-Flash-1017
  4. 相关事件StepFun 将 Step Code 更新至 v0.1.4