OpenAI 全面开放 Decisions API，与 TypeSafe 的 Jev 争夺决策模型市场

OpenAI首次向用户广泛开放其Decisions API模型，正式进军快速、低成本智能市场——这一市场最近让TypeSafe这家由该前沿实验室前研究员创立的初创公司成为估值76亿美元的公司。

TypeSafe的Jev模型开创了一类深度学习模型，充当超级分类器：给定一组选项，它们能快速做出选择，并给出决策的置信度评分。软件开发者很快发现，这些决策模型或“系统一”模型可以在多种工作流中替代LLM，运行更快，成本也大幅降低。

OpenAI API产品负责人Nikunj Handa对TechCrunch表示，他的同事们看到Jev后说：“哇，我们大概有一百万个用例可以用这个。”Handa的团队全力冲刺，推出了自己的版本：团队没有构建专门校准的决策模型，而是拿ChatGPT Luna重新配置，以加快推理速度并降低成本。

“Decisions API最大的突破在于速度，把耗时从一到三秒缩短到100、120、180毫秒，”Handa说。“未来，我们可能会进行专门训练，让我们的模型在这些方面表现得更好。但现在，就是普普通通的Luna把活干成了。”

Decisions API于9月29日在该公司的开发者日上发布，并于周四向所有客户开放。OpenAI为公开版本新增了语音和视觉模态，并通过按地域部署推理资源，努力确保全球各地区的低延迟。

在Box、Datadog、Ramp和Speak等客户的初步试用中，工程师们使用该API以更高吞吐量替代OpenAI的LLM。开发AI语言辅导工具的Speak公司CTO Andrew Hsu表示，Decisions API让该公司将操作之间的时间从1.4秒缩短到0.13秒。OpenAI还用该产品提升了其Dots语音助手的响应速度。

不过，除了“对你有用”之外，究竟什么才构成一个好的决策模型仍不明确——在智能、成本、校准和速度之间的优化似乎因工作负载而异。TypeSafe CEO Diogo Almeida不信任基准测试，并敦促人们在自己的工作中试用这些模型，但就连TypeSafe也在上周发布最新Jev模型的同时公布了自己的排名，该模型包含支持图像和smart-if语句等新功能。

AIM System One Index和Artificial Analysis Decision Index等公开基准往往更青睐Liquid上周发布的新决策模型D1 Ultra，以及Base Lab的Elephant-1。最新的Jev模型在这两个指数上仍具竞争力，分别位列第七和第三，而OpenAI的Decision Model则分别排在第八和第十四。不过，就目前而言，TypeSafe的产品在OpenRouter上被查询的次数最多。

然而，最有趣的Jev基准是JevMan——一个让决策模型玩PacMan的基准；最新的Jev模型在该排名中位居榜首。构建该基准的Opper AI首席增长官Felix Wunderlich表示，这款经典游戏“是一个有趣的测试，因为它需要持续不断地做出快速、高风险的决策。在每个路口，模型都必须在几百毫秒内决定往哪走。”

Handa还看到了速度的进一步提升，这催生了新的用例：“我们能不能把它做到大约60毫秒，然后你就可以想象，比如视频里的每一帧都调用一次API？”

随着这些产品变得更快、更便宜，我们可以预期它们会名副其实地印证Jev这个名字的由来——这位经济学家曾解释过，更高效地使用一种资源如何使其变得更加无处不在。或者，正如Handa所看到的那样，将会出现不断扩展的“一大批疯狂的用例”，它们此前一直隐藏在显而易见之处，直到决策模型将它们揭示出来。