OpenAI 团队回应 Computer Use 进展质疑,并复盘 Decisions API 一周冲刺
Why Dwarkesh is Wrong about Computer Use + How OpenAI shipped its Jev competitor in 1 Week
在 OpenAI DevDay 后的播客中,负责 Computer Use 智能体的 Ari Weinstein 回应了 Dwarkesh 关于 Computer Use 进展缓慢的质疑,称其与几个月前相比已完全不同,原因是模型更擅长调试和重试,并会编写 JavaScript 一次执行多步操作,同时结合截图、accessibility、DOM 与 Playwright。他还提到 Dots 为每个 Dot 提供云端 Linux 虚拟电脑,Computer Use 已进入 Agents API。OpenAI API 团队负责人 Nikunj Handa 则介绍 GPT-6 的异步工具调用、mid-turn steering、WebSockets、UltraFast 推理、prompt 缓存与预加热、compaction 等更新,并称 Decisions API 基于 Luna 权重、未训练新模型,从灵感出现到原型仅约一周。
推荐理由
AI 评分 74
OpenAI 的 CUA 与 API 负责人解释了 Computer Use 为何在数月内改观,以及 Decisions API 一周内成型的内部过程。
主题
正文 · AI 翻译
28 13 1× 0:00 当前时间:0:00 / 总时长:-39:12 -39:12 您的浏览器不支持音频播放。请升级。为什么 Dwarkesh 对 Computer Use 的看法是错的 + OpenAI 如何在一周内推出其 Jev 竞品 我们的 DevDay 报道——DevDay 阵容中的首期播客——与 OpenAI CUA 团队和 API 平台的负责人深入探讨。2026年9月30日 28 13 分享 文字记录 三个月前,Dwarkesh 一直在发布关于 RL 的精彩博客和节目,他为自己关于 RLVR 的视频论文发布了一个框架性问题,这让许多 Computer Use 领域的人感到不满:
Dwarkesh Patel @dwarkesh_sp 这里有一个我觉得既令人困惑又有趣的问题,它实际上告诉了我们很多关于当前 AI 进展本质的信息:
为什么 computer use 的进展如此缓慢?Computer use 显然是可验证的。
我认为答案是,仅仅一个领域可验证是不够的…… Dwarkesh Patel @dwarkesh_sp 下一个训练范式会是什么样子?
0:00:00 – 实验室正在下的大研究赌注 0:02:12 – 可打磨性与可验证性同样重要 0:06:10 – 仅靠 RLVR 能泛化吗?0:08:41 – 让学习回到权重中 0:15:22 – 做梦 0:17:23 – 2026年6月27日 凌晨12:54 · 60.4万次查看 143条回复 · 70次转发 · 1.02千次点赞 我们对公开学习并不陌生,也对在大平台上犯错时的压力并不陌生。然而,我们曾在 Anthropic 现场见证 Computer Use 发布,曾参与 Claude Cowork 并制作了关于它的首期大型播客,在 AIE 组织了首个 Computer Use 专题并展示最前沿进展,还曾近距离接触 OpenAI 收购 Sky Software 的交易——如今正是这笔交易支撑着 Codex 所享有的对 computer use 的全面主导。这就是为什么我们很高兴请来今天的首位嘉宾 Ari Weinstein,他是 Sky 的联合创始人,如今领导着所有那些外行可能错过的惊人 CUA 进展:
Ari Weinstein @AriX 我们收到了很多关于 Computer History 隐私影响的好问题。
以下是我们为在保持隐私的同时构建一个超强功能所做的一些事情。
首先,你可以在时间线视图中查看你所有的 Computer History:Ari Weinstein @AriX 今天我们将在 ChatGPT 中发布 Computer History。
它让 ChatGPT 从你在电脑上所做的一切中学习,从而更好地理解你的工作方式、完成你正在进行中的任务,并根据你使用电脑的方式推荐技能和自动化。2026年8月14日 晚上8:39 · 10.7万次查看 39条回复 · 29次转发 · 512次点赞 Ari 解释了为什么 Computer Use 现在与几个月前相比“完全判若两物”,智能体如何学会调试并从失败中恢复,为什么将截图与无障碍数据、DOM、Playwright 和生成的代码相结合会改变速度方程,以及为什么下一个前沿是让智能体在使用软件方面真正达到超人水平。
在下半场,来自 OpenAI API 团队的 Nikunj Handa 拆解了新的开发者技术栈:异步工具调用、回合中途引导、WebSockets、UltraFast 推理、Decisions API、提示缓存、预热、压缩以及 Agents API。鉴于我们是首个 Jev 播客,我们特别聚焦于 Decisions API 异常快速的冲刺:
OpenAI Developers @OpenAIDevs 使用由 GPT-6 Luna 驱动的 Decisions API,为你的应用提供实时决策能力。
定义问题和可能的答案,以对内容进行分类、路由请求或选择智能体的下一步行动。
限量预览中可用。2026年9月29日 下午6:34 · 68.4万次查看 222条回复 · 401次转发 · 5.71千次点赞 以及为什么它目前只是一个 Luna 封装,但团队有动力且足够无我,愿意克隆他们认为好的模式。
为什么 OpenAI 认为 Computer Use 在过去短短几个月里发生了巨大变化
Dots,以及当每个智能体都拥有自己的 Linux 电脑时会发生什么变化
为什么 Computer Use 现在能比普通人更快地完成某些任务
从人类水平到“字面意义上的超人”computer use 的路径
为什么现代智能体在调试和从失败中恢复方面要好得多
截图、无障碍树、DOM、Playwright 和生成的 JavaScript 如何协同工作
App Shots,以及为什么它们给模型提供的上下文比普通截图丰富得多
为什么 Computer Use 能闭合编写软件与测试软件之间的循环
当智能体能够付款和操作网站时的信任、权限与安全
异步函数调用,以及为什么模型不再需要在工具运行时停止推理
回合中途引导、WebSockets,以及让智能体响应更灵敏的架构
UltraFast 推理,以及 OpenAI 如何推动前沿模型实现更低延迟
Decisions API 背后的快速内部故事
为什么 Decisions API 不仅仅是低延迟的结构化输出
GPT Live、快速工具调用和实时计算机控制
OpenAI 如何已将 Decisions API 用于支持分类和内部工作流
更长的提示缓存、缓存预热,以及缓存感知应用
面向长时间运行智能体线程的服务端压缩与手动压缩
什么应该放在 Agents API 内,什么应该放在开发者自己的 harness 中
OpenAI 作为“AI 云”,以及对超越原始模型 API 的更高层原语的探索
OpenAI 产品、API
00:00:00 OpenAI DevDay:Dots、GPT-6.1、Agents API 和 Decisions API
00:02:52 Dots 与个人云电脑
引言:OpenAI DevDay 与新的智能体技术栈 Vibhu [00:00:00]:好的。我们非常兴奋能来到这里。今天是 OpenAI DevDay。特别播客
Swyx [00:00:08]:我们是你们直播后的首期播客。
Vibhu [00:00:10]:第一期播客。我们请到了 Ari,他负责 Computer Use 智能体的产品与工程团队。在我们正式开始深入探讨 Computer Use 之前,你要不要先简单回顾一下?都发布了什么?你们今天这一连串的发布都有哪些?
Ari Weinstein [00:00:24]:是的。是的,这是超级令人兴奋的一天。我们刚结束主题演讲。真的太棒了。有一堆 Computer Use 相关的发布,我觉得值得好好想想。我们有 Dots,这是新的、算是个人助理类的产品,它有一些非常令人兴奋的 Computer Use 功能。还有 GPT-6.1 Sol,这是一款了不起的新模型,我觉得它特别适合 Computer Use,因为它在成本和速度上有优势。我想,我想我们分享过,它的成本是 Astra 的五分之一,如果专门看 Computer Use 的话是七分之一,这真的很惊人。抱歉,东西太多了。我正试着理一理。
Swyx [00:01:02]:还有 API。
Ari Weinstein [00:01:03]:Agents API,现在里面有了 Computer Use,这真的很酷,因为现在开发者可以基于与 Codex 和 ChatGPT 中相同的 Computer Use 来构建。然后还有一些我们现有 Computer Use 功能的演示,比如 app shots,你可以把你在电脑上正在做的事情的上下文快速带入 Codex 和 ChatGPT。还有,比如,在你的 Mac 上原生运行 Computer Use,Roman 让它自动给他的应用截图,而 Computer Use 在使用他的应用时,他还能在电脑上做别的事。所以是的,非常令人兴奋的主题演讲。
Swyx [00:01:35]:更别提 Decisions API 了。
Ari Weinstein [00:01:37]:Decisions API。
Swyx [00:01:38]:一上来先问,它们都是同一个模型吗?比如,这是……还是同一个数据集蒸馏到不同模型?
Swyx [00:01:44]:基本上就是,Computer Use 是在用 Decisions API,还是它们算是分开的?
Ari Weinstein [00:01:49]:Decisions API 很酷的一点是,你知道,它有所有这些新能力。它并行做推理。它没有推理过程。它是一个比我们用于 Computer Use 的模型更小的模型。所以这些能力让它非常快。
Swyx [00:02:07]:是的。
Ari Weinstein [00:02:07]:它们也让它在做长周期、复杂任务时稍微差一点。所以我想说,如何把这些方法结合起来,仍然是一个开放的研究领域。但是,是的,我非常期待看到人们用 Decisions API 构建出什么。
Vibhu [00:02:24]:有意思的一点是,Dots 现在有了附带的个人电脑。
Ari Weinstein [00:02:28]:是的。
Vibhu [00:02:28]:所以看起来它们更具持久性了。你已经用了一段时间了。人们应该怎样突破边界?比如,人们应该以什么为目标?应该尝试什么?就我个人而言,我现在用它处理很多客服问题。比如
Ari Weinstein [00:02:41]:酷
Vibhu [00:02:41]:“哦,这个弄错了。我不想登录。我不想做身份验证。”找到问题然后直接修好。
Ari Weinstein [00:02:45]:是的。
Vibhu [00:02:46]:我们该怎么进一步推进?人们应该尝试什么?
Ari Weinstein [00:02:50]:Dots 是个很酷的产品,因为每个 Dot 都能访问云端属于自己的 Linux 虚拟电脑,这和我们其他产品不同。你知道,传统上,我们能访问云端的浏览器,或者它能访问你自己的电脑,但现在你拥有云端一整台属于自己的 Linux 电脑。所以它可以运行完整的桌面应用,也可以使用网页浏览器。所以,是的,你知道,我觉得 Computer Use 的强大之处、以及我认为它如此令人兴奋的原因,在于它让智能体能够做任何你作为一个人能做的事,因为世界上所有软件都是为人类设计的,而现在智能体可以使用同样的软件,你可以把任务委派给智能体。所以,是的,任何你会在电脑上做的事,你都可以让一个 Dot 去做。是的,我觉得特别有用的是什么,真的取决于最终用户是谁,以及在他们生活中什么有价值。但是是的,我会先从想一想你花时间做的一件事开始,以及你如何能把这些委派给智能体。
Swyx [00:03:47]:是的,很多航班预订和购物,老实说甚至比如玩游戏之类的,对吧?
Ari Weinstein [00:03:52]:完全对。
Swyx [00:03:52]:是的。
Swyx [00:04:32]:是的。
Ari Weinstein [00:04:32]:所以这类任务我觉得真的很有威力。
Swyx [00:04:36]:作为一个创作者,我可以马上告诉你,我的头号用例就是自动化 YouTube。
Ari Weinstein [00:04:40]:不错。
Swyx [00:04:40]:因为 YouTube 不会通过 API 暴露很多东西。
Ari Weinstein [00:04:43]:是的。
Swyx [00:04:43]:你只能把它放进虚拟机里,然后直接运行,比如说他们的 AB 测试功能或者发社区帖子。这些都没法通过 API 使用,因为他们讨厌开发者。
Swyx [00:04:53]:总之,所以,
Ari Weinstein [00:04:55]:我也从我们的开发者体验团队那里听说过这一点。他们经常把它和 YouTube 一起用。是的。真的很棒。
Swyx [00:04:59]:所以我想,你知道,我想稍微来点刺激的。我们的一位朋友,也是领先的 AI 播客之一,以说 Computer Use 在过去两年里没有进步而闻名。
Ari Weinstein [00:05:12]:是的。
Swyx [00:05:13]:这是个非常有意思的说法,而我认为你是世界上最适合谈论这件事的人之一,比如,事情是如何进展的,对吧?
Ari Weinstein [00:05:20]:是的。你知道,他们几个月前这么说过,我想,我希望他们现在有不同的看法,因为 Computer Use 和以前相比已经完全不同了,简直是 180 度的转变。
Swyx [00:05:26]:他是个很难被说服的人。
Ari Weinstein [00:05:27]:是的,好吧。嗯,我们正在努力。
Swyx [00:05:30]:但是,你知道,你一直在做。你基本上整个职业生涯都在做某种计算机自动化,对吧?
Ari Weinstein [00:05:34]:是的。
Swyx [00:05:34]:比如快捷指令
Ari Weinstein [00:05:35]:是的
Swyx [00:05:35]:在苹果,然后是 Sky,然后,然后加入 OpenAI。你能讲讲你的主线是什么吗,比如是什么在驱动你,以及——你,当时可能做不到什么
Ari Weinstein [00:05:47]:是的。
Swyx [00:05:48]:还有,比如你的里程碑大概是什么。
Vibhu [00:05:49]:我想在这个基础上追加一个问题,从比如上周到今天的 Codex Computer Use,主要的变化是什么
Ari Weinstein [00:05:57]:是的
Vibhu [00:05:57]:到今天为止?是模型吗?是 Dots 吗?是 harness 吗?所以是全部的历史,再加上今天公告里真正改变的是什么?
Ari Weinstein [00:06:04]:是的。关于主线,我想我一直对自动化以及帮助人们自动化任务感到兴奋,因为这样你就能节省生活中的时间,专注于比非常精细地操作电脑更重要的事情。所以,是的,这就是我们做那些产品的原因。我之前在苹果。我们创办了一家叫 Sky 的公司。我们最终加入了 OpenAI,这真的很令人兴奋。而且我认为有件事是
Swyx [00:06:27]:而且几乎就像你必须绕过苹果,直到苹果说:“好吧,我们就雇你,你就可以在里面工作了,”对吧?就像。
Ari Weinstein [00:06:35]:那是个,那是个很适合工作的地方。回顾 Sky,真正有趣的是,我们在那里也在做 Computer Use,而当时的模型能力要差得多。而现在,就在过去一年里,模型在 Computer Use 上已经变得极其强大。我认为我看到的最大变化是,以前它们可以可靠地开始任务,但随后会遇到问题,而现在它们非常擅长调试。它们非常擅长重试,反思什么有效、什么无效。而且我认为我们也带来了 Computer Use——Computer Use 领域本身也向前发展了。我认为我们使用了更多技术。现在 Computer Use 经常会写代码。所以如果你在 Codex 里实际查看并手动展开工具调用,你可以看到它不只是一次做一个动作。它实际上在写 JavaScript 代码并执行,由计算机执行,有时一次执行多个动作,这大大加快了速度,也是很强的能力。我们使用了更多 accessibility,算是多模态接口。所以,模型可能会用截图,可能会用 accessibility,可能会用 Playwright。它可以根据手头的任务使用很多不同的机制。然后,是的,模型的加速一直,一直非常惊人。所以,是的,今天有什么不同?我认为我们一直在让计算机变得更好,所以我认为仅仅一天的差异,可能比比如过去一个月或过去两个月的影响要小一些。但是,是的,我认为 Dot 中的 Computer Use 非常令人兴奋,还有我们推出的新模型。
Vibhu [00:08:03]:在主题演讲中,Tejal 提到 Computer Use 的速度提升了 7 倍,在几项基准测试上表现好得多。你们是怎么考虑衡量它的?Computer Use 就是那种,正如你所说,你知道的,它是随着时间推移不断改进的东西。
Ari Weinstein [00:08:20]:是的。
Vibhu [00:08:20]:是 harness 吗?是模型吗?是后训练吗?
Ari Weinstein [00:08:22]:对。
Vibhu [00:08:22]:你们内部是怎么看待衡量它有多好的,以及新模型带来了哪些变化?
Ari Weinstein [00:08:29]:我们其实有一堆不同的衡量方式,其中一些是在 harness 的不同排列和配置上进行的。这有点复杂,因为,你知道的,我们的生产产品有,你知道的,更多的安全检查,而且,你知道的,这些会根据手头任务的需求进行不同的配置。所以有很多种衡量方式,但我认为无论我们怎么衡量,我们都发现相当一致的提升。而这些提升,有时在 harness 中,有时在模型中。而且,是的,我对这个结果真的很兴奋:GPT-6.1 在 Computer Use 上比 Astra 更具成本效益,甚至超过了其基线成本改进。看到这个真的很酷。
Swyx [00:09:10]:是的。我是说,直播中我真的很喜欢的一个画面是,你有点像是在改进你的曲线的帕累托前沿,而且有很多关于你如何与 harness 一起改进它的讨论。
Ari Weinstein [00:09:24]:是的。
Swyx [00:09:24]:你能举一些你顿悟时刻的例子吗,不管是模型驱动 harness 还是 harness 驱动模型,随便什么?
Ari Weinstein [00:09:32]:我不想重复自己,但我认为,引入更多模态真的非常强大。
Swyx [00:09:36]:好的。
Ari Weinstein [00:09:36]:一个更具体的例子是,过去,我认为我们看到很多 Computer Use 产品不得不花大量时间,比如滚动,你知道吗?所以它会,比如,截个图。它会尝试做点什么。它会说,“哦,我得,比如,向下滚动到结果的下一页,”然后它会截图,然后它会尝试做点什么。它会再次向下滚动。所以我认为,借助 accessibility 和其他。以及,直接访问 DOM 和其他类似的东西,现在语言模型实际上可以看到,比如,整个页面或整个应用。它可以编写代码一次执行多个步骤。所以我认为这些可能是最大的单个顿悟时刻。还有很多小的,相比之下没那么令人兴奋,但实际上我们也发现很多速度提升是由,比如,很多小的割纸伤驱动的,我们得深入进去内省。
Swyx [00:10:21]:是的。很多非常艰难的工程。
Ari Weinstein [00:10:23]:是的。
Swyx [00:10:23]:我是说,总的来说就是 app shots,对吧?比如,我认为人们不太理解区别,如果。因为,比如,Codex 里有个很好的视觉展示,当它
Ari Weinstein [00:10:30]:是的
Swyx [00:10:30]:当你拍一个 app shot,但他们也许。他们也许理解区别,就是,你实际上能够驱动每个按钮,而且你有,你以非常优化的表示形式拥有每个文本。
Ari Weinstein [00:10:40]:是的。完全正确。是的。其实挺有趣的。如果你想,比如,真的对此很极客,你可以进入 Codex,按两个 command 键拍一个 app shot。所以你从你正在使用的任何应用中抓取内容,把它带入,Codex 或 ChatGPT 聊天。然后。如果你点击附件,然后点击右上角这个,比如,小小的按钮,你可以看到原始文本,你看到原始 accessibility 表示。而且,是的,我们投入了很多工作,把
Swyx [00:11:04]:就是把所有东西都倒出来。是的。
Ari Weinstein [00:11:05]:把它倒出来,但也让它 token 高效,高效地做。这有点,像是一门艺术。而且,你知道的,结果发现,为人类发明的同一项技术,你知道的,那些可能有 accessibility 需求、想使用屏幕阅读器技术的人,那项技术对他们使用计算机真的很有帮助。它对 LLM 能够使用计算机也真的很有帮助。所以这一直,比如,真的很有趣,能参与其中。
Vibhu [00:11:27]:补充一下背景,我觉得很多人不理解 app shots。他们甚至不知道这是个功能。
Ari Weinstein [00:11:30]:是的。
Vibhu [00:11:31]:就是当你双击 command 时,它会拉入看起来像截图的东西
Ari Weinstein [00:11:34]:对
Vibhu [00:11:34]:然后你会说,“哦,为什么我只是打开了一个截图然后扔进去?”不,它实际上在拉取所有元数据、所有代码、一切。
Ari Weinstein [00:11:40]:对,没错。对。所以就像,你知道,如果你对一个带有链接的网页截图——截图并不包含链接指向哪里。它不包含,你知道,也许你截了一张日历的图,日历事件的标题被截断了,你知道吗?但当你拍一张 app shot 时,它会给语言模型提供关于一切内容的完整上下文,这就让它能做更多的事情。
Swyx [00:12:02]:对。想了解更多的话,我邀请了 Jason Liu 在 AI Engineer 上就此做一场完整的 workshop。
Ari Weinstein [00:12:07]:太棒了。
Swyx [00:12:08]:他做得非常好。
Vibhu [00:12:09]:我有一个更宏观的愿景问题
Ari Weinstein [00:12:11]:嗯
Vibhu [00:12:11]:关于 Computer Use 智能体。你举的截图、滚动页面、再截图的例子,就是我们目前所处的阶段。
Ari Weinstein [00:12:17]:对。
Vibhu [00:12:17]:如今,它们能自动化很多事情。瓶颈在哪里?是模型吗?是 harness 吗?什么。你觉得两年后会发展成什么样?你觉得它会连续运行好几个小时吗?我们怎么才能达到那一步?对 Computer Use 的走向有什么预测吗?
Ari Weinstein [00:12:32]:嗯。我是说,我觉得真正疯狂的是,你知道,团队在过去几个月里取得的成就是,现在 Computer Use 完成任务的速度,在大多数情况下可能比普通人还快。而且我认为下一个前沿是让 Computer Use 的性能真正达到超人水平,也就是它使用软件的速度能和我们这样的专家级计算机用户一样快甚至更快。我认为当那一天到来时,会非常有影响、非常令人兴奋,因为我觉得我们突然就能构建出提供更多实时体验的产品。而且我认为它还会。降低使用 Computer Use 的门槛,或者说降低启动能量,我想,会让我们开始默认用智能体去做某些我们已习惯手动完成的事情。我觉得这也很令人兴奋,因为它会为我们节省大量时间。而且我认为,你知道,有很多各种各样的小摩擦和瓶颈在阻碍这一目标的实现。我认为,是的,模型侧有事情要做,推理侧有事情要做,harness 侧有事情要做,表示层面也有事情要做。你知道,我们发现随着 Computer Use 变得更快,我们越来越受限于执行操作本身的速度。比如,你知道,在我们的 Computer Use 任务基准测试中,有相当一部分时间实际上是在,比如说,你在 doordash.com 上自动化一个任务。很多时间其实是在等 doordash.com 本身加载,你知道吗?
Swyx [00:14:04]:对,那你就写一个 wait,然后执行这个 wait。
Ari Weinstein [00:14:07]:对,完全正确。而且你想让。对,实际上,非常重要的是你要让那个延迟尽可能小,从它最终加载完成到你
Swyx [00:14:16]:对
Ari Weinstein [00:14:16]:触发 LLM 执行下一个动作之间,这本身其实是一门统计科学。
Swyx [00:14:20]:也许可以用事件驱动的方式来做。
Ari Weinstein [00:14:22]:只要可能,你就希望它是事件驱动的。
Swyx [00:14:24]:JavaScript 有一些 load 事件。
Ari Weinstein [00:14:25]:而且 JavaScript 有 load 事件用于。或者说网页浏览器有用于网页导航的 load 事件,但还有其他类型的事件实际上真的无法做到事件驱动。所以这里有很多复杂性
Vibhu [00:14:34]:我想到的一个例子是,比如和客服聊天。
Ari Weinstein [00:14:37]:对。
Vibhu [00:14:37]:回复可能要 30 秒,也可能要三分钟。
Ari Weinstein [00:14:39]:哦,对。
Swyx [00:14:41]:我用 Codex 处理过好多机器人客服。很棒,但我也在想对方是否知道自己在跟一个机器人说话,因为我,比如,用完整的句子回答。比如,我大小写都正确。
Ari Weinstein [00:14:50]:太好笑了。
Swyx [00:14:51]:比如,我给出完整的编号——完整的参考编号等等。比如,这太。这明显好得过分了。我不在乎。就像,我只是,比如,想解决我的支持工单。
Vibhu [00:14:58]:我给它提示过,比如,你知道,“别假装你是机器人。要表现得像个非常恼火的人类。”
Vibhu [00:15:02]:简短的一句话,比如
Swyx [00:15:04]:对
Vibhu [00:15:04]:推它,把这些都做了。我还告诉它,“在你等待回复的时候,比如,用子代理去研究更好的方法,弄清楚我们需要什么。”
Ari Weinstein [00:15:12]:不错。
Vibhu [00:15:12]:就像是,人类的一点小干预。
Ari Weinstein [00:15:14]:太棒了。我还觉得有一半时间对面是个机器人,所以现在你
Vibhu [00:15:17]:是啊
Ari Weinstein [00:15:17]:让机器人们互相聊起来了。
Swyx [00:15:18]:是啊。我还要说,你知道,就像,你知道,Computer Use 的一个里程碑,我们现在所处的,就是,你知道,三四年前,我们还害怕把 LLM 接到网上、接到
Ari Weinstein [00:15:31]:是啊
Swyx [00:15:31]:接到我们的、接到我们的设备上。而现在我让它帮我配置 DNS。
Ari Weinstein [00:15:35]:哇。
Swyx [00:15:36]:我让它帮我付账单,而且,就像,真的,就像,几万美元的、就像,东西,我就直接交给它,用 Computer Use 一顿乱搞,就像,你知道,最坏能发生什么?
Swyx [00:15:48]:所以那——那都,那都挺好的。
Ari Weinstein [00:15:50]:是啊。
Swyx [00:15:50]:我觉得现在你已经。你知道,显然,你也得自己试用自家产品,诸如此类。现在你算是把这个发布到 API 里了,有什么坑或者建议你想告诉开发者,因为他们即将,我猜,亲身遇到这一切?
Ari Weinstein [00:16:03]:首先,我真的很兴奋我们把 Computer Use 带进了 Agents API。我觉得这真的很棒,因为显然很多开发者正在构建希望能与第三方网站和服务协作的应用。所以 Computer Use 有这种通用性。它能和任何东西配合。所以现在突然之间,开发者可以用和我们正在构建的同一套 Computer Use 实现来开发。我觉得如果你想构建自己的 Computer Use 框架,有很多很棒的工作可做,但那很难。而且,我们是在自己的 Computer Use 框架上训练模型的,所以使用随模型分发的那套是有优势的。实际上可能在速度、成本和准确度上都有优势。所以我觉得人们能在此基础上构建真的很棒。而且,是啊,你知道,我觉得就像你说的那样,我觉得我们都还在这个过程中,也许,我们中有些人比世界上很多人更超前,比如,在适应这项技术并信任它方面。所以我觉得我们有责任,通过确保我们构建的东西可靠、通过构建正确的安全检查、通过在做像付款这样有后果的事情之前征求用户同意、通过,你知道,也许取决于应用,确保只让它访问任务实际需要的网站或应用,来随着时间建立这种信任。所以我觉得,这是值得思考的重要事情。不过是啊,我真的很鼓励大家试试新的 Agents API,在上面构建各种酷东西。我们很想听听你的反——反馈,如果,你知道,取决于进展如何。
Vibhu [00:17:31]:你有没有看到它影响开发工作流的方式有什么变化?所以 Dots 的一件事就是,你知道,你在 Slack 里看到它。
Ari Weinstein [00:17:38]:是啊。
Vibhu [00:17:38]:你看到人们用语音并构建。Roman 展示的那个例子,改这个应用并沿途给我发截图等等。
Ari Weinstein [00:17:46]:是啊。
Vibhu [00:17:46]:你在采用情况里看到关于人们如何用 Computer Use 做编码工作流的什么吗?人们应该从中得到什么建议吗?
Ari Weinstein [00:17:55]:其实我最喜欢的 Computer Use 用例之一,也是我们在实际中经常看到的,就是 Computer Use 让代理——真正测试代理构建的软件,这比听起来重要得多。因为传统上,你知道,你在 Codex 里构建东西,然后——然后 Codex 帮你构建好,然后你得测试它,而你现在就像是代理的 QA,对吧?所以有了 Computer Use,你可以完成开发——软件开发生命周期,其中,代理可以构建软件,也可以测试它。所以我玩得很开心,你知道,构建东西,让代理测试它。等它到我手上时,它已经能用了。我还有额外的乐趣,因为有时我在,比如,开发 Computer Use 本身,所以现在我有一个 Computer Use 代理在用我的 Computer Use 代理,而后者又在用别的东西。所以是啊,我真的,我真的觉得这是一类超级强大的用例。
Swyx [00:18:44]:我开发了一个可视化试玩技能,真的能抓出很多设计问题,
Ari Weinstein [00:18:49]:不错
Swyx [00:18:50]:这个,你知道,通常你只是看代码的话,其实不太会注意到它。不过它也非常适合克隆应用。如果你在用某个糟糕的 SaaS,想干掉这个 SaaS,你就一屏一屏一屏地把它克隆下来。而且显然,Computer Use 可以完全驱动一切,截图、记录下来,然后用 Codex 把一切克隆出来。
Ari Weinstein [00:19:06]:那真的很酷。
Swyx [00:19:06]:不过是的,感谢你所有的进展。我想,那是
Ari Weinstein [00:19:08]:当然
Swyx [00:19:09]:我们的时间了。
Ari Weinstein [00:19:10]:是的。
Swyx [00:19:10]:这不会是我们最后一次聊。
Ari Weinstein [00:19:12]:是的,酷。这次真的很有趣。谢谢你们邀请我。
Swyx [00:19:14]:好的。
Vibhu [00:19:14]:好的。好,我们严格卡点。我们直接开始。
Nikunj Handa [00:19:17]:来吧,是的。
Vibhu [00:19:19]:好,那么,Nikunj,我们非常高兴你能来。你在 API 方面发布了很多东西,就像我们刚刚
Nikunj Handa [00:19:25]:是的
Vibhu [00:19:25]:和 Ari 聊到的。你现在可以用 Computer Use 智能体来构建了。你有什么想强调的,API 方面的变化,并稍微介绍一下你自己和你的工作?
Nikunj Handa [00:19:34]:是的,当然。我叫 Nikunj。我领导 API 团队的产品。在这里大约三年了。一直在做模型发布。我觉得这就像,一直是我在 OpenAI 期间的一件,持续的事情。而且,每有一个新模型,我们都会,基本上,和后训练团队、研究团队紧密合作,弄清楚它有什么新东西。然后我们,把这些能力在 API 中暴露出来。所以,这基本上就是概括的说法。而如果你看看 GPT-6 所有的新东西,我们发布的酷炫新能力,首先是,异步函数调用。所以你在,比如 Codex 和 Dots 以及所有东西里看到的很多情况是,工具调用耗时太长,你不必,在工具运行的时候暂停模型的执行。所以你可以,发起一个工具调用,继续运行,继续推理,然后再回来查看。所以我们发布了异步工具调用。我们发布了,比如,回合中引导,所以现在你可以,在模型推理过程中,中途注入消息。这样当你的工具调用完成时,你可以把那些指令放进去。
Swyx [00:20:43]:而且这也部分是一种模型对齐能力,对吧?
Nikunj Handa [00:20:46]:是的。
Swyx [00:20:46]:就像,他们必须训练出这种训练能力。
Nikunj Handa [00:20:48]:完全正确,是的。而且
Vibhu [00:20:49]:我觉得我们在应用里已经有了。你一直可以,在它推理时,进行引导。
Nikunj Handa [00:20:54]:是的。
Vibhu [00:20:54]:它并不是最好的。现在已经好多了。
Nikunj Handa [00:20:57]:是的。
Vibhu [00:20:57]:很期待看它在版本里表现如何
Nikunj Handa [00:20:58]:是的,而且我喜欢我们的主要
Vibhu [00:20:59]:而现在
Nikunj Handa [00:21:00]:目标,我们在 API 的主要目标是,一旦它被训练进 harness,就把它放进 API。所以我们有点在等那个时刻,直到它足够好。而这其中很多实际上是由 WebSockets 驱动的,我们在,我想说几个月前发布了它。所以 WebSockets 只是打开了这种,与模型的整个双向通信。这不是 GPT Life 那个东西。我只是在说 GPT-6。你可以做所有这些,比如异步工具调用、异步推理、注入消息。这是一个工作起来非常有趣的 API。我觉得,真的很享受。
Swyx [00:21:33]:是的。这就是为什么我们是工程播客,因为我们可以聊 WebSockets。
Nikunj Handa [00:21:36]:是的。
Swyx [00:21:37]:这也和 UltraFast 非常搭配,对吧?
Nikunj Handa [00:21:39]:哦,是的。
Swyx [00:21:39]:就像,那现在是,我想是有史以来第一次在 API 中可用。
Nikunj Handa [00:21:43]:是的。
Swyx [00:21:43]:这基本上是你所能达到的理论最快速度,智能的前沿。
Nikunj Handa [00:21:49]:是的。做那个项目真是太令人兴奋了。我想,在讲 API 之前,UltraFast 最有趣的部分就是看着推理团队用 Astra 大展身手。他们就是,不断让这些 Codex 智能体运行,试图榨出更多性能。而且,我想说,至少有好几个月,很多精力都集中在效率和降低成本上,这就是我们能够把 Luna 价格降低大约 80% 的方式。其中很多是由他们落地的所有推理改进驱动的。然后现在他们,转向了,我们怎样才能让它跑得尽可能快?所以 UltraFast 在像 Astra 这样的模型上真是,太棒了。能跑那么快真的很酷。而且是的,WebSockets 就像。其实那是我们第一次发布 WebSockets,是为 GPT 5.3 Codex Spark,那是。不敢相信我们给模型起了这么个名字,但是,你知道,我们就是为它发布的。而且显然,它帮助很大,因为,你得有工具调用。你,真的减少了与工具来回的开销。所以,WebSockets 在这方面很棒。
Swyx [00:22:57]:是的。看到这些总是很有趣,比如我有我的重置使用限额,然后我有我的 Spark 使用限额,我从来不用。
Nikunj Handa [00:23:03]:是的。
Swyx [00:23:04]:就像,如果我想要它就在那儿。
Nikunj Handa [00:23:05]:我想它终于没了。
Swyx [00:23:06]:没了。没了,是的。
Nikunj Handa [00:23:07]:我知道它没了,所以。
Swyx [00:23:08]:是的。你在慢慢干掉所有,你知道,那些
Nikunj Handa [00:23:11]:旧的,是的。
Swyx [00:23:11]:老家伙们。
Vibhu [00:23:11]:这是很棒的一周。我是说,这是我们第一次以极速实现 Frontier Intelligence。
Nikunj Handa [00:23:17]:是的。
Vibhu [00:23:18]:大家真的很喜欢。
Nikunj Handa [00:23:19]:是的。
Vibhu [00:23:19]:所以
Swyx [00:23:20]:是的
Vibhu [00:23:20]:这是它第一次回归。
Swyx [00:23:21]:是的。对于 5.3 Spark,它被明确归功于 Cerebras。你们既不确认也不否认 UltraFast 与 Ce——Cerebras 有关,但人们确实在这么做。我只想说,人们确实很关心,也在好奇这件事。而且你们也有自己的芯片。房间里的大象,决策模型。
Nikunj Handa [00:23:38]:哦,是的。
Swyx [00:23:38]:Decisions API。我们是第一个与 Diogo 做大型 Jev 深度探讨的播客,我也在 AI Engineer 上介绍过他。你们多快看到 Jev 然后就想
Nikunj Handa [00:23:49]:哦天哪。是的。
Nikunj Handa [00:23:50]:是的。首先,要大大感谢 Diogo 和 Jev 团队,真的启发了
Swyx [00:23:55]:是的
Nikunj Handa [00:23:55]:市场上整个细分领域。显然 Jev 一出来,大家都为之疯狂。我们的用户也在联系我们。但同样,我们内部团队也说,“我们需要一个快得多的分类系统。”我们可以。我不想抢在某些 Dots 功能之前说
Swyx [00:24:16]:哇
Nikunj Handa [00:24:16]:但你们会看到一些很酷、非常敏捷快速的东西构建在 Decisions API 之上。但是,你知道,是的。感谢 Jev 启发了这一切。显然 OpenAI 的一群人被这事勾起了兴趣,他们说,“我们怎么才能让这个跑起来?我们不会——”
Swyx [00:24:33]:好的。
Nikunj Handa [00:24:33]:“训练一个新模型。”但是
Swyx [00:24:34]:比如,四周前,这还不在开发雷达上,对吧?
Nikunj Handa [00:24:37]:不,完全不在。不。
Swyx [00:24:37]:好的。
Nikunj Handa [00:24:37]:这就像是
Swyx [00:24:38]:哇
Nikunj Handa [00:24:38]:受 Jev 启发,而且
Swyx [00:24:40]:我觉得你们正式成为你们实验室第一个克隆并采用这个的。
Nikunj Handa [00:24:44]:是的。是的。我觉得 OpenAI 有非常强的黑客文化,人们就是会对事情感到兴奋。所以,推理团队的一位,基础设施团队的一位很棒的人说,“这太棒了。我们要动手搞它。”他们构建了一个原型,它跑起来了,现在我们只是在延迟上不断爬坡,试图让它尽可能快,我们想在未来几天内发布。所以一旦达到我们的延迟目标,我们就会试着把它推出去。
Vibhu [00:25:13]:有意思。在黑客文化的同时,你也,正如 Sam 所说,99%,最可靠的 API 之一,
Nikunj Handa [00:25:20]:嗯嗯
Vibhu [00:25:20]:我想可能是使用量最大的,而那就是你们团队直接负责的。人们应该如何看待 Decisions API?我觉得很多人看到了 Jev,听到了热度,但还没用它构建过。你们正在让它变得非常主流。
Nikunj Handa [00:25:32]:嗯嗯。
Vibhu [00:25:33]:人们应该把它看作什么?应该怎么用?
Nikunj Handa [00:25:36]:是的。我认为我们看到的主要用例是非常快的分类。所有 Computer Use 演示都很惊艳、很酷。当然,我认为会有局限,比如让 Astra 写一个类似 JavaScript 的脚本来控制你的电脑,对比让 Luna 一次选一个动作。我觉得它的智能水平不会一样,但也许有些 Computer Use 任务对它来说已经足够好了。所以很期待看到这方面的发展。我内部看到的另一个很酷的原型是人们把它和 GPT Live 连接起来。GPT Live 就像,你知道,我们的双向、实时、
Swyx [00:26:14]:语音
Nikunj Handa [00:26:14]:API。它建立在这种前端模型和后端模型的模式上。所以 GPT Live 就是这种
Swyx [00:26:20]:思考者或说话者
Nikunj Handa [00:26:21]:超快。是的,思考者或说话者那种。所以 GPT Live 是说话者,超快,非常擅长委派,而你有类似 Astra 的东西坐在后——在后面。但工具调用在 GPT Live 里一直感觉很慢。所以人们一直在拼凑这些 GPT Live 控制电脑的工具调用演示,感觉就敏捷自然多了。所以我有点兴奋地想看到人们用 Live 和 Decisions API 上的 Luna 能做出什么。所以那会相当令人兴奋。是的。
Swyx [00:26:55]:所以我想为大家理清这一点,尤其是从产品角度,因为很多人一直在推出 Jev 克隆。过去两周大约有 100 个。
Nikunj Handa [00:27:01]:哦,真的吗?太棒了。
Vibhu [00:27:03]:头几天。
Swyx [00:27:04]:但就像,它。就像,他们可以克隆一个 Jev API,说实话就是结构化输出
Nikunj Handa [00:27:09]:是的
Swyx [00:27:09]:这是 OpenAI 最先做的。
Nikunj Handa [00:27:10]:是的。
Swyx [00:27:11]:对吧?所以,就像,我觉得我们该为大家理清一下,什么是决策模型,就
Nikunj Handa [00:27:16]:是的
Swyx [00:27:17]:就,比如,什么才是重要的?不只是延迟。不只是结构化输出,对吧?因为我可以直接拿 Luna 来当——决策模型的定价和 Luna 一样,对吧?
Nikunj Handa [00:27:26]:嗯哼。
Swyx [00:27:27]:把推理关掉,然后加上结构化输出。我就有 Jev 了吗?你知道,没有,对吧?而那才是
Nikunj Handa [00:27:33]:是的
Swyx [00:27:33]:那才是真正的
Vibhu [00:27:34]:那里有一种置信度。
Swyx [00:27:35]:是的。
Nikunj Handa [00:27:36]:是的,完全同意。我觉得,我们的方式是。所以我们并没有为此训练,比如,一个新模型。
Swyx [00:27:40]:是的。
Nikunj Handa [00:27:40]:我们,就像,完全构建在我们已有的同一套 Luna 权重之上。
Swyx [00:27:44]:哦。
Nikunj Handa [00:27:44]:所以是的。这真的就只是 Luna。而在此基础上,你要做的是施加约束。所以,比如,结构化输出是其中很大一部分。你实际上是在优化推理栈,以便在 TTFD 上做到非常快。而因为你可以有多个问题,你要做的就是,基本上并行运行它们,
Swyx [00:28:05]:作为一个批次。
Nikunj Handa [00:28:06]:是的。你把它们作为一批来运行。你——各种推理技术,人们都在研究,试图让它尽可能快。但我想说,至少我们最初的实现和这个第一版,就是在 Luna 之上做零样本,看看效果如何。而且显然,你想,把它发布出去。就像,这是 OpenAI 经典的迭代部署方式。发布出去,看看大家怎么想,然后,我们再按需做更多模型改进。所以是的。这就是 Decisions API。
Swyx [00:28:38]:是的。而且,显然作为一个好处,你们有视觉能力。他们没有视觉,对吧?
Nikunj Handa [00:28:42]:没错。
Swyx [00:28:42]:显然,Jev 自带的是
Nikunj Handa [00:28:43]:是的。就像,我们通过 Luna 免费获得了这个能力。是的。
Swyx [00:28:45]:是的。我确实觉得,就像,你知道,有些创新,听起来,如果还是同样的 Luna 权重,那还在后头,比如置信度那部分,比如校准,是我们在播客里谈过基准校准的。因为基本上,重点在于 RLHF 会把你拉向你想听到的东西。
Nikunj Handa [00:29:03]:是的。
Swyx [00:29:03]:但,比如,并不是实际的,比如,置信度有多高。
Nikunj Handa [00:29:06]:是的。是的,完全同意。我很想看看结果如何。也许会有,比如,会有。这些可能会是我们可能需要,比如,爬坡优化的关键领域
Swyx [00:29:15]:是的
Nikunj Handa [00:29:15]:随着,随着未来的模型发布。但是,是的。
Swyx [00:29:18]:然后从架构层面,辩论中的另一件事,显然,你——没人知道,因为 Jev 不谈这个,但两种猜测是,其一,也许是扩散模型而不是自回归。
Nikunj Handa [00:29:28]:嗯哼。
Swyx [00:29:29]:但你能以自己的方式实现并行生成。然后另一个是某种机制可解释性之类的东西
Nikunj Handa [00:29:37]:嗯哼
Swyx [00:29:37]:就是你,比如,分析激活值然后直接输出
Nikunj Handa [00:29:40]:那会很酷
Swyx [00:29:41]:权重。
Nikunj Handa [00:29:42]:是的。
Swyx [00:29:42]:这个,比如,你们所有人都做过这方面的研究。人们一直在猜测。
Vibhu [00:29:45]:已经有过演示
Swyx [00:29:46]:是的
Vibhu [00:29:46]:这两者都有。我觉得 Gemini 分享过 Gemini diffusion、Gemma diffusion 在 Jev 风格输出上的表现。
Nikunj Handa [00:29:53]:哦,厉害。
Vibhu [00:29:53]:而且,可解释性的人也已经,你知道,从中间层提取出可解释性,但这都只是猜测。
Swyx [00:29:59]:就像,你想瞄准的是什么,对吧?因为你可以实现那个 API。每个人都能实现那个 API。其实相当简单。但,比如,然后是速度,然后是准确率,然后是其他校准特性。
Nikunj Handa [00:30:11]:嗯哼。
Swyx [00:30:11]:我不知道还有什么。
Nikunj Handa [00:30:13]:是的。是的。不,完全同意。这个,比如,整个领域现在被开启了,这太酷了,人们会做很多很酷的东西,大家都会互相学习。而且,是的,我对此很兴奋。
Vibhu [00:30:24]:我觉得作为平台团队的一员,你的很多工作就是赋能构建者。
Nikunj Handa [00:30:27]:嗯哼。
Vibhu [00:30:28]:你觉得人们应该用 Decisions API 以及 Computer Use 智能体来构建什么?有没有什么你们内部一直在做、而且你认为在新变化之后会真正打开局面的东西?
Nikunj Handa [00:30:39]:好。行,我们想想。Decisions API 在内部的使用场景已经相当明显了。比如用户运营团队就特别积极。他们说:“我们得把所有支持工单都分类。”还有什么来着?显然,还有那些非常酷的 GPT Live 演示。我相信 Codex 应用团队可能会接手这个,试着做点酷东西。所以,你知道,这整件事大概是一周前才开始的,所以还非常早期,而且
Swyx [00:31:06]:哦,才一周。
Nikunj Handa [00:31:07]:我们很兴奋。是的。是的,差不多就是这样。
Vibhu [00:31:08]:在评估、LLM 作为评判者方面有很大的推进,那里的延迟非常低。
Nikunj Handa [00:31:13]:对。是的。那会很有意思,值得看看。然后,有了 Agents API,我们基本上——我们有一堆第一方产品,比如在 OpenAI 完全构建在它之上。我们刚发布的 Codex 安全相关的东西就完全构建在 Agents API 之上。我们还有,算是——我们今天要推出一个会议类型的东西。
Swyx [00:31:40]:嗯哼。
Nikunj Handa [00:31:40]:我记得有个演示。你还记得 Sam 展示插件扩展的时候吗?有个演示,比如你在日历里,可以把自己的会议笔记
Swyx [00:31:51]:比如,放进一个单一的
Nikunj Handa [00:31:52]:流入你的空间
Swyx [00:31:52]:像 Google Docs 那种东西。
Nikunj Handa [00:31:53]:是的。
Swyx [00:31:54]:对吧?
Nikunj Handa [00:31:54]:所以——所有这些东西都完全构建在 Agents API 之上。是的,我就是很兴奋地想看看。我们刚把它推出来,看看人们会在上面构建什么。
Vibhu [00:32:04]:我觉得你展示得非常好。整个编辑空间、页面、协作、加上你的 dot。内容很多,所以
Nikunj Handa [00:32:12]:是的
Vibhu [00:32:12]:人们可以从中获得很多灵感。
Nikunj Handa [00:32:14]:是的。有了 Astra,一切皆有可能,你知道。事情现在发展得太快了。就像
Swyx [00:32:19]:是的
Nikunj Handa [00:32:19]:人们从想法到执行的速度太快了,太惊人了。
Swyx [00:32:23]:有没有什么是你希望人们重点关注、以便给你反馈的?比如,什么——你知道,也许你只是把这个推出来,然后希望——而且,比如,有个岔路口,你希望开发者帮你决定。
Nikunj Handa [00:32:35]:所以我觉得 Agents API 和 Decisions API,它们算是我们最新的产品。非常希望得到关于它们的任何反馈,以便弄清楚该把它们带向何方。我觉得,在这边,我们对 Responses API 非常开放,它算是我们这边的主力。比如,现在非常专注于性能,而性能主要体现在两个方面。第一就是延迟。我们一直在重写整个 Responses API 技术栈,让它从 TTFT 角度、DVD 角度尽可能快。所以这——那仍然是我们关注的主要领域。我们一直在做的第二件事,就是真正深入做缓存,尤其是针对这些个人智能体,你知道,基本上就是一个线程一直不停地跑下去。我们一直在努力真正提升缓存的水平。我们现在提供 30 分钟内的缓存命中保证。实际上,我们——对其中一个用户,我们刚推出了长得多的缓存窗口。所以我们提供 12 小时的缓存保证,让你有保证的缓存命中,持续
Swyx [00:33:40]:那是公开 API 吗?
Nikunj Handa [00:33:42]:还不是。那还在预览阶段。
Nikunj Handa [00:33:43]:我们会尽快把它推给所有人。但是,比如,只需为缓存写入多付一点钱,我们就能保证在长得多的时段内缓存读取。所以即使,比如,你的 instinct 线程,你只是在上面做了点事,然后三四个小时后再回来,你仍然能获得缓存带来的性能。而且推出了
Vibhu [00:34:04]:而且你们用新模型把那里的成本也降了不少,对吧?
Nikunj Handa [00:34:07]:哦,对。没错。
Vibhu [00:34:08]:大概便宜了25%,所以
Nikunj Handa [00:34:08]:对,就是把缓存读取降下来,对。
Vibhu [00:34:10]:对开发者来说,他们应该实现
Nikunj Handa [00:34:13]:对
Vibhu [00:34:13]:因为这样便宜得多。
Nikunj Handa [00:34:14]:对。对。就是,构建应用时要非常注意缓存,并使用我们的提示诊断或缓存诊断工具,弄清楚哪里在掉。所以缓存这部分真的很重要。对,我还想谈谈预热。我们现在在 API 里已经有了。所以,如果你知道,“嘿,我要拿到一个缓存”,抱歉,“我要拿到这个提示。我只想预热缓存,现在就付缓存写入费,然后让它在接下来30分钟里随时准备好。”
Swyx [00:34:49]:而且它可以生成那个线程的许多实例。
Nikunj Handa [00:34:51]:没错,对。
Swyx [00:34:52]:对。
Nikunj Handa [00:34:52]:你可以一直继续,然后有
Swyx [00:34:54]:对,就在那里一直折腾提示
Nikunj Handa [00:34:55]:大量大量的。所以,对,我非常期待收到关于底层性能方面的反馈,这样我们就能继续让 Responses API 成为在 LLM 之上构建应用时性能最好、最可靠的方式。然后你基本上就有了我们的新产品,我就是想收集任何和所有的反馈。
Swyx [00:35:15]:对,就用起来,对吧?
Nikunj Handa [00:35:16]:所以对,就用
Swyx [00:35:16]:告诉我们该
Nikunj Handa [00:35:17]:对。请帮我们定义路线图。所以对。
Swyx [00:35:20]:对我来说,缓存这件事很棒,对吧?显然非常需要。但归根结底,你还是会撞上百万 token 的上下文
Nikunj Handa [00:35:28]:嗯哼
Swyx [00:35:28]:而且在可预见的未来,这大概不会改变。
Nikunj Handa [00:35:31]:嗯哼。
Swyx [00:35:31]:你还是需要好的压缩。
Nikunj Handa [00:35:33]:对。
Swyx [00:35:33]:那方面最佳实践是什么?
Nikunj Handa [00:35:34]:对。对,完全没错。首先,OpenAI 有自己的专有压缩,comp
Swyx [00:35:40]:它在
Nikunj Handa [00:35:41]:Compaction。
Vibhu [00:35:42]:Compaction。
Swyx [00:35:42]:它在 agents 里。
Vibhu [00:35:43]:它在 API 里。
Nikunj Handa [00:35:43]:对。
Vibhu [00:35:43]:Agents API。
Nikunj Handa [00:35:44]:对。
Swyx [00:35:44]:你替我们决定,对吧?
Nikunj Handa [00:35:45]:对,没错。所以在 Agents API 里,它内置在 harness 中。而如果你在 Responses API 里,有两种做法。一种是我们所说的服务端压缩,基本上就是你告诉 Responses API,如果你一旦达到这个 token 阈值,就自动压缩它,然后回去,或者说,减少正在使用的上下文。第二种就是 /compact,如果你想完全控制的话。所以你可以随时 /compact
Swyx [00:36:15]:我明白
Nikunj Handa [00:36:15]:用你自己的逻辑来决定何时
Swyx [00:36:17]:它不是 AGI。
Nikunj Handa [00:36:18]:它。
Swyx [00:36:18]:它不是 AGI。
Nikunj Handa [00:36:19]:对。对。
Swyx [00:36:20]:对。但它,我是说
Nikunj Handa [00:36:20]:对
Swyx [00:36:20]:它是手动覆盖。
Nikunj Handa [00:36:21]:对,它是手动方式。而且,我不知道,但很多大型编码智能体喜欢手动做。我是说,如果你看 Codex 在开源 Codex harness 里的实现,你能看到他们用 /compact 来做。顺便说一句,我们还在研究新的压缩技术。其中一些你会在 Codex harness 里看到。比如,它已经在 Codex harness 里实现了。它们是一些基于文件的系统,我们正在试验。所以对,压缩方面也有很多很酷的东西在推进。
Swyx [00:36:57]:酷。我们快没时间了。
Nikunj Handa [00:36:59]:好。
Swyx [00:36:59]:我想你已经谈了很多关于性能的内容,也谈了很多关于你们正在推出的新 API 的内容。关于平台未来你感兴趣的事情,你能再给我们一些提示吗?
Nikunj Handa [00:37:13]:我们显然还处在非常底层的层面。比如,在这之前我在 Stripe 工作过,而在 Stripe,很大一部分工作就是在核心支付原语之上构建这些更高层的原语和产品。而且,我一直很好奇在 AI 里做这件事的最佳方式是什么。我觉得我们已经尝试过几次了。我们很早以前就推出过 assistance API,但那其实并不是很合适。我们当时有点像是要沿着这个 Agents API 走下去,它给你 codex harness,但问题是,应该给多少灵活性才合适?这还是个开放问题。比如我们应该怎样设置记忆墙,以及所有这些更高层的 API 对象,用来去掉、同时也抽象掉更多像存储这样的概念。这就像是一整个,有一整个领域,我非常好奇我们该如何设计。我觉得 AI 里的很多事情就是:有一个底层 API 原语,看一个示例 harness,然后让你的编码智能体去实现它。但其中有多少要构建进 API 里,这是我一直在思考的问题。
Swyx [00:38:24]:对。
Nikunj Handa [00:38:24]:所以我不知道大家对此有没有想法。如果有人有想法,会非常有意思,很想听听。
Swyx [00:38:30]:对。我一直会回到的那个类比,我们就以此收尾吧,就是,你在构建一朵 AI 云,对吧?
Nikunj Handa [00:38:35]:嗯哼。
Swyx [00:38:35]:就像,这是 Sam 一年前说过的东西
Nikunj Handa [00:38:38]:嗯哼
Swyx [00:38:38]:在那里,而你,这几乎就像你在做 AWS 的发明,你必须做,好,这是 EC2
Nikunj Handa [00:38:45]:对
Swyx [00:38:45]:而这是 S3,而这是像……但你做的是每一个的 AI 原生版本。
Vibhu [00:38:48]:有很多类比,所以你在为你明知会用到的东西预热缓存
Nikunj Handa [00:38:53]:对。
Vibhu [00:38:53]:而且很好的一点是,这一切都暴露给构建者
Nikunj Handa [00:38:56]:嗯哼
Vibhu [00:38:56]:因为它就打开了你可以构建新东西的各种方式。
Nikunj Handa [00:38:59]:对,绝对是这样。
Swyx [00:39:00]:好。
Vibhu [00:39:00]:太棒了。那么
Swyx [00:39:01]:就这些了。
Nikunj Handa [00:39:01]:谢谢大家。
Vibhu [00:39:02]:谢谢。
Nikunj Handa [00:39:02]:对。