AI 热点

决策模型使用量激增,微软上线 Decision-1.1 并押注定制化

TechCrunch AI更新于 11月18日 02:45

As decision model use skyrockets, is customization is the next frontier?

AI 导读

Vercel 的 AI 模型路由中,10 月超过四分之一的请求流向决策模型而非 LLM。微软 CEO Satya Nadella 表示 Microsoft-Decision-1.1 即刻在 Azure 上广泛开放,英国初创 Sqwish 同日宣布 300 万美元 pre-seed 融资,主打用客户自有数据持续后训练其 kettei fat 模型。TypeSafe 的 Jev 系列仍占据主要使用量,其 CEO 称最难的部分是用统计校正的合成数据精细校准判断力。

推荐理由

AI 评分 61

从 Vercel 路由占比到微软上线、初创融资,勾勒决策模型这一新品类在生态两端的商业化进展。

主题

标签

正文 · AI 翻译

10月,Vercel的AI模型路由器上超过四分之一的请求流向了决策模型,而非LLM——对于一种仅在一个月前才被发明的计算机化智能而言,这已是极其庞大的工作量占比。

决策模型是LLM,它们不生成输出token;相反,它们经过调优,利用自身的通用智能在预设选项之间快速且低成本地做出选择,同时记录其对该选择的置信水平。它们在生产环境中很有用,因为在这样的环境中,快速决策可能比更慢、更昂贵的前沿模型所提供的推理更为重要。

TypeSafe在发布其Jev系列模型后成为一家估值75亿美元的公司,该系列模型继续主导使用量(至少在我们能看到来自OpenRouter等服务指标的地方是如此——OpenRouter上周处理了超过15亿次对TypeSafe模型的查询)。

然而,制作一个决策模型很容易,在Jev问世之后,数十个模型相继发布。一位亚马逊工程师用一个周末就做出了一个,很快每家超大规模云厂商都有了自己的选择。周二,微软CEO Satya Nadella表示,他的公司正在立即在Azure上广泛推出其决策模型Microsoft-Decision-1.1。

这一动向在生态系统的两端同时发生:英国AI初创公司Sqwish——其背后是一款名为kettei fat的决策模型——今天宣布了一轮300万美元的pre-seed融资。联合创始人Ushnish Sengupta和Federica Freddi在剑桥读研究生时相识,在Jev出现时他们一直在开发小型LLM,他们意识到自己的架构可以被改用作一个强大的决策模型。

数据似乎是这一类别中模型成功的关键——TypeSafe CEO Diogo Almedia告诉TechCrunch,构建Jev最难的部分是用经过统计校正的合成数据精细校准其判断力。Sqwish也一直在使用合成数据,但其独特之处在于内置的后训练工具,可利用客户自己的数据来改进模型的判断力。

“我认为,让我们不沦为大宗商品的原因在于,我们向客户提供同样的能力……他们可以持续上传自己的生产数据,就像我们训练自己模型的方式一样,他们的模型也可以在他们关心的任务上不断变得更好,”CEO Ushnish Sengupta告诉TechCrunch。

试图对决策模型进行排名很困难;Sqwish的“kettei fat”模型在一些基准测试中表现良好,但该技术的大多数构建者表示,真正的证明在于实践:开发者通常很容易用一个模型替换另一个模型,并观察其在特定情境下的表现。

“基准测试更多是邀请人们试用这个模型,而持续调优才是他们应该继续选择我们的原因,”Sengupta说。

微软的Decision 1.1模型也是该公司在成本、延迟、智能和校准之间仔细权衡的结果。领导该项目的工程副总裁Achint Srivastava也认为,过度关注基准测试是一个错误。

“我们看到的是,‘为基准而优化’的模型在真实企业使用中很快就会败下阵来,”Srivastava在一封电子邮件中写道。“我们的测试凸显了在单一模型中同时实现准确性、可靠性、速度和成本效率有多么具有挑战性。Microsoft-Decision-1.1和Jev是少数在全部四个维度上都表现强劲的模型,即使是在反映真实用例的‘留出’或未见过的基准测试上评估时也是如此。”

对于像Sqwish这样的初创公司来说,与超大规模云厂商和前沿实验室竞争是一个机会。Freddi预测,未来的系统将看到所谓的System One智能(如决策模型)与System Two智能(如前沿LLM)协同工作。

“即使在那样的未来,System One或许也是一个100亿美元、500亿美元的机会,而OpenAI进行这次IPO时,你知道,心里想的是1万亿美元、2万亿美元的市值,”她告诉TechCrunch。“这就是我们关心的全部;而对他们来说,这只是一个副业项目。”

来源

TechCrunch AI