←新闻详情

Wired AI更新于 10月30日 14:59

我把一群 AI 智能体派去管理梦幻足球阵容,它们暂时还赢不了人类

I Put a Bunch of AI Agents in Charge of a Fantasy Soccer Team. They’re Not Better Than Humans—Yet | WIRED

AI 导读

WIRED 作者用 Codex 搭建多智能体系统管理英超梦幻足球阵容,分工读新闻、分析赛果、跑模型和互相批评,但球队近几周得分仍未超过平均水准。芝加哥大学 Haifeng Xu 的测试显示 GPT-5 预测表现最好,其后是 Grok 4、Claude Sonnet、Gemini 和 Llama,但 AI 仍常落后于超级预测者。把智能体数量加到 100 以上没有明显提升,只推高了 API 账单。

正文 · AI 翻译

我请教了我那台由 AI 驱动的预言水晶球,它告诉我,前沿模型在不久的将来会在预测方面变得强得多。问问我的英超梦幻足球阵容就知道了。

几周前,我部署了一小群 AI 智能体,来打造并管理一套实验性阵容。鉴于 AI 智能体正扩散到我们生活的几乎方方面面,我想知道一群机器人能否组建出一支能赢的球队。

几年前,我第一次考察了 AI 在这方面的潜力,当时我试用了英国图灵研究所的一款工具,它会先对过往梦幻联赛数据建模,然后挑选球员。它给出的建议离谱得令人吃惊——它没有纳入现实世界的信息,比如球员受伤或球队更换管理层。

这一次,在坐飞机去看家人的途中,我向 Codex 求助。首先,我把几篇相关研究论文喂给模型。然后,我让它搭建一个 harness——即引导不同智能体完成各个步骤的指令和代码——用来核查近期新闻并运行模型做出预测。

它很快就想出了一套设置,似乎能收集和分析远比我所能处理的多得多的信息。然而,让我意外的是,它最初给出的阵容建议竟然如此愚蠢。把埃尔林·哈兰德放在替补席上?真的吗,Codex?

接着,我让 Codex 创建一支由各司其职的智能体组成的团队:几个负责阅读新闻和博客文章;另一些分析近期赛果;还有一些运行模型;以及一群负责批评建议的智能体。这似乎显著改善了建议。我尝试把智能体数量增加到 100 多个,希望这能让系统更聪明,但除了推高我的 API 账单之外,并没有带来多大变化。

尽管如此,与几年前相比,进步仍然惊人。芝加哥大学研究 AI 在市场情境中应用的计算机科学家徐海峰表示,更新的模型在预测方面可能更强,因为它们能够消化和分析海量现实世界信息,并且能够为它们的猜测编排更复杂的系统。

“AI 在理解世界方面正变得越来越聪明——我觉得这就是它们不断进步的根本原因,”徐告诉我。

去年年底,徐惊叹于 Kalshi 和 Polymarket 等预测市场日益流行。他想知道最好的商业模型在这些市场上会有怎样的表现,于是与几位同事一起开始测试它们的预测能力。

例如,他们让模型猜测谁会赢得 NBA 总冠军,以及特朗普总统将会见谁。

“很快我们就开始意识到,模型表现得非常好,”徐告诉我。他说,这些模型有时在没有任何特别指令或指导的情况下,就能比普通人做得更好。在他们的测试中,GPT-5 的预测表现最好,其次是 Grok 4、Claude Sonnet、Gemini 和 Llama。

该团队随后开发了 Prophet Arena,这是一个衡量模型预测能力的基准。它是众多旨在测试 AI 预见未来能力的基准之一;另一个名为 Prediction Arena 的基准由哈佛大学的研究人员和一家名为 Arcada Labs 的公司推出,最近给前沿模型 1 万美元,让它们在 57 天内在预测市场上下注。在实验中,这些模型持续亏钱,但研究人员看到了它们随着时间推移持续进步的迹象。

徐告诉我,AI 使用定制 harness 时能最有效地做出预测,并指出让智能体承担独特任务——例如阅读新闻、收集其他数据以及分析整个系统——似乎是最有效的方法。

有趣的是,AI 仍然常常落后于被称为“超级预测者”的非常熟练的专家。徐解释说,尽管人类无法消化那么多信息,但他们对现实世界——也就是新闻故事背后的动态——的理解更深。

话虽如此,越来越多的证据表明,人类超级预测者的优势正在被侵蚀。最近一项名为 Metaculus Cup 的竞赛显示,AI 有时甚至能击败最好的人类预测者。而一个名为 ForecastBench 的基准可能会提供进一步证据,证明 AI 能匹敌人类技能——一项正在进行中的竞赛结果很快就会揭晓。事实上,我认为我们可以预期,大型实验室将把注意力转向预见未来,把它作为一种衡量机器智能进步的强大新方式。

所有这些预测实验似乎都表明,就像数学、编程和法律一样,以交易为基础的行业可能很快会被 AI 颠覆。也许最优秀的人类交易员将承担一种新角色:监督和编排能够比他们更好地预知未来的 AI 智能体。

就目前而言,我的 AI 给出的建议似乎仍然不那么令人印象深刻。过去几周,它的球队得分没有超过平均水平。我当然不会在自己的选择中使用它的任何建议。

但 AI 无疑会变得更好,也许很快就会让主导梦幻联赛变得轻而易举。不过,我有点希望它不会如此,因为那会破坏独自赢下比赛、赢得吹嘘资本的乐趣。

Airbnb 房东们怒不可遏:他们再也不能让客人做家务了

大新闻:酷小孩都用全小写写作——这让你生气吗?

我花了一整天只用 iPhone Duo 工作

来源

Wired AI