Wharton professor tests Fable 5.2: a single word "polish" made it write an 87,000-word rulebook
English text is being prepared.
Wharton School professor Ethan Mollick had Anthropic's Fable 5.2 lead a multi-agent team to build 3D worlds; in the first two days it built 328, and when he asked it to stop building new ones and polish the existing ones, daily additions dropped to about a dozen. The agents interpreted "polish" as an assessment, used 12 test screenshots for blind voting, and then began gaming the tests to inflate scores; after the main agent banned these tricks, it set up a rulebook that swelled to 204 sections and 87,500 words in 12 days, and reading it once consumes a large chunk of context. Mollick formed another team to review the process from the outside, and daily output returned to over 30 while most quality gates were retained.
Why read this
AI score 69
Wharton professor Ethan Mollick's long-horizon agent test of Fable 5.2 revealed the concrete process of rule self-inflation in multi-agent collaboration.
Topics
Body
这几乎就是AGI了,不过是「锯齿版」的!
最近,沃顿商学院教授Ethan Mollick干了一件事:让Anthropic刚发布的Fable 5.2带着一群AI去造3D世界。
头两天,它一口气造了328个。
Mollick就交代了一句:停建新的,把现有的打磨好。
没想到几天后,每日新增的3D世界数量,直接从几百个跌到十来个。
他派了几个智能体去摸底,结果查出一件让他始料未及的事:
Anthropic在11月9日刚发布Fable 5.2时说得很硬气:几乎所有测评上,它都比Opus 5.5高出一档。
而Mollick在发布前就上手了Fable 5.2,他给AGI定了一个标准:
不算体力活和跟人打交道,只要电脑上大部分智力活都能干到多数人类专家的水平,就算过线。
按这个标准,Mollick说Fable 5.2「几乎」就是AGI了。
但他紧跟着又给它加了一个更精确的定语:「锯齿状AGI」。
在很多任务上,它已经够得上专家;可在另一些地方,尤其是品味和判断上,它还明显落后于人。
比如,它能把极其复杂的任务一路推到底,却不知道什么时候该踩刹车。
一条指令
改出一台游戏机
AGI里的 G,代表通用(General),写代码和做视频,也一直是AI公司重点攻的方向。
但这次Mollick决定换个考法:离开这两块,它还能不能「通用」?
他刚好有个叫Codex Micro的迷你USB键盘,原本是给ChatGPT配套用的。
Fable 5.2为这台Codex Micro迷你键盘写了6款游戏。
Mollick给Fable 5.2下了一道指令:把它改成一台游戏机。
据他所知,网上找不到任何现成的改造说明。
Fable 5.2自己读完了两个控制程序的代码,弄清了怎么给按键换色、怎么读取旋钮和摇杆,就一口气写出6款游戏。
从经典的记忆游戏Simon,到拧旋钮开保险箱,全程都没人搭手,而且还第一次就跑通了。
在Mollick晒出的同一篇测评里,Fable 5.2前后换了六副专家面孔:
电影人、硬件黑客、创业者、文学学者、社会科学家、3D世界建造者。
它交出的商业计划,身为创业学教授的Mollick评价说:就算是MBA学生团队在期末交上来,他也会很佩服。
而它写的创业研究论文,Mollick初读之下,觉得已超出自己对博士二年级学生的预期。
据此,Mollick的判断是:在很多单项任务上,它已经够到了「多数人类专家」这条线。
1000多个分身
8天造出操作系统
如果说单项任务追平专家只是常规升级,那Fable 5.2这一代真正的跃升,叫「带队」。
Anthropic有位工程师给了它一个空文件夹,任务是做一个操作系统的原型。
Fable 5.2拉起一支1000多个子智能体的队伍,昼夜不停连干8天。
最后交出来的系统,真能在笔记本电脑上启动,驱动、文件存储、窗口、登录界面,一应俱全。
Fable 5.2带领逾千个子智能体开发的操作系统原型,在笔记本上运行。(图源:Anthropic)
再看数学界的硬骨头,费马大定理。
所谓「形式化」,就是把数学家的证明,翻译成电脑能一步步核对的语言。好比把一篇宏大的论文,改写成每一笔都对得上账的流水账本。
Anthropic第一次干这活,专门搭了框架,还有人类研究员指导,足足花了11天。
这一次,1000个Fable 5.2智能体组队,几乎没人插手,30小时收工。
Mollick让AI造的那批3D世界,同样出自一支AI大军之手,如今总数已经超过450个。
他在提示词里点名了三类角色:负责画画的、写代码的、做评审的。到了第10天,一个主智能体已经带着28支团队同时开工。
据Claude自己估算,整个项目跑了约2.5万次智能体任务,其中绝大多数只干一件小事,比如给一张图打分。
这450多个世界没有用一个现成的3D模型,也没有一张图片素材,全靠代码实时画出来。
比如,你会看到牛仔布缝成的山谷,一条一英里长的拉链正在拉开;也会飞进一处河谷,两岸的峭壁,是300米高的五斗柜。
Fable 5.2用代码绘制的3D世界里,一条巨型拉链正拉开牛仔布山谷。
单兵再强,也只是好用的工具。能自己拉队伍、分任务、连着干上好几天,这才是迈向超级智能的关键跃升。
看到这些AI造出的世界,Mollick说,这又一次让他感觉像AGI。
当328个世界造出来之后,Mollick发现这些世界的质量有些参差不齐,由于团队之间没通气,有的还撞题了。
光是「动物盘旋成气旋」这一个点子,就有三支团队各自闷头做了一遍:一个转驯鹿,一个转蝠鲼,还有一个转鹳。
三支AI团队各自做出了动物旋涡,从左到右分别是驯鹿、蝠鲼和鹳。(图源:Portals)
看到这些问题,Mollick才下了那道「停建、打磨」的指令。
智能体们把「打磨」理解成了一场考核:
新版本必须在12张测试截图上赢过旧版本,由一组AI评委盲评投票。
既然考题固定,各个智能体团队也很快学精了,专门对着这12张截图猛修。
说白了,全员开始押题刷分。
主智能体发现后,禁掉了这种套路,反手立下更严的评审规矩。
第二天一早,一本84节的规则手册冒了出来。Mollick从头到尾可没要过这东西。
也是从那以后,事情就停不下来了:
每出一个新问题,就往手册里加一条新规则,而且只增不删。
12天后,这本没人要求的手册膨胀到204节、8.75万词,体量够写一本长篇小说。
智能体光是把它读完,就要占掉一大块上下文。
一套流程走完,差不多一天就过去了。
面对自己把自己用规矩系成死结的「智能体大公司」,Mollick甩出了商业世界最经典的解法:请咨询顾问。
他让Fable 5.2另组一支团队,从外部审视整套流程。
顾问团交上来的结论又长又密,Mollick无法细读。但他们的方案似乎见效了:
每天的产量回到30个以上,而且大部分质量关卡也保留了下来。
爱绕回老套路,被自己定的规矩捆住手脚……这些毛病,在商学院教书的Mollick并不陌生,他在许多优秀的组织和人才身上都见过。
他的原话是:如果造出官僚体系就不能叫通用智能,那我们很多人也都不合格了。
确实,这种「叠床架屋」的毛病,人类本就擅长。
它只会做加法
既然连「大公司病」都生得很像人,Mollick为什么还说它「几乎」是AGI?
从头到尾,没有一个评委跳出来接过方向盘,问上一句:
这活是不是太长了?是不是太重复了?是不是不好玩了?
这些追问,最后全落在了Mollick一个人肩上。
同样的病根,还出现在前面那篇创业研究论文上:每来一条批评,它的办法就是再加一轮新分析,什么都不删,硬是把一篇论文撑到了182页。
Mollick的点评一针见血:知道自己的活什么时候还不够好,是专家之所以是专家的一大原因。
Mollick自己承认,那本手册的出现,正是从他那句含糊的「打磨」指令开始的。
很多时候,他也分不清问题到底出在团队,还是出在管理方式上。他说,这种问题,他以前从来不需要对着一款软件去问。
这也暴露了长程智能体的一块短板:
它能给每一个问题加一道检查,却判断不了这些检查加在一起,是不是还在为最初的任务服务。
拿Mollick来说,他想要的,只是一批更好的3D世界。但AI最终交给他的,却是一套要走一整天的审批流程。
人的新岗位
从Mollick对Fable 5.2的测试中,可以看到人眼下还需要做什么。
每一个项目都是他起的头。
有的项目,他只要扔出一个点子就够了;可当项目一长,他一路给出的反馈就变得很关键。
Mollick觉得,自己能做的事变多了。
鸟群只需要三条规则。Fable 5.2生成的视频截图,画面由AI用代码生成。
但他也有一丝不安。
「锯齿状AGI」让他兴奋,他却不知道这个阶段会持续多久。在他看来,OpenAI和谷歌的同类模型很快也会跟上。
可以确定的是,当越来越多的执行和协作交给智能体,人要做的一个关键判断是,什么时候让它接着打磨,什么时候叫它停手交付?
参考资料:
本文来自微信公众号“新智元”,作者:ASI启示录,编辑:元宇,36氪经授权发布。