AI News

Anthropic Releases Claude Fable 5.2 and Mythos 5.2, Token Prices Cut by 20%

TMTPost · AGIUpdated Nov 10 12:35

English text is being prepared.

AI summary

Anthropic has released Claude Fable 5.2 and Mythos 5.2. The two share the same base model, with the difference lying in security permissions: Fable 5.2 is aimed at general users and comes with protection restrictions in the cybersecurity and biological domains, while Mythos 5.2 is open only to vetted institutions. Fable 5.2's token prices have dropped from $10 to $8 per million input tokens and from $50 to $40 for output, a 20% reduction, with output speed up to 30% faster. Gains on long-task benchmarks are notable, with robotic control on RoboDojo Sim rising from 27.6% to 64.9%, but Artificial Analysis points out that the average cost per task at the max tier is about $26.5, roughly 2.6 times that of Opus 5.5, and that the number of generated tokens is far above the median for comparable models.

Why read this

SelectedAI score 77

The original article lists the gains on long-task benchmarks and the actual per-task cost after the price cut, which can be used to understand the capability boundaries and pricing trade-offs of this generation of models.

Topics

Tags

Body

赶在IPO之前,Anthropic发布了Claude Fable 5.2和Mythos 5.2。

两者采用同一底座,核心差异为安全权限:Fable 5.2面向通用用户,带有网络安全与生物领域的安全防护限制;Mythos 5.2仅向经审核的机构开放,解除相关限制以支持合规的网络安全、生命科学研究。

新版本最大的升级在长任务上,尤其是机器人训练相关。同时Fable 5.2的token价格较Fable 5.1下降了20%。

并且Fable 5.2在审美、设计方面,和Fable 5.1相比,也有较大的提升。

Fable 5.2发布的半小时内,就有人用这个模型开发了一款画面十分精致的FPS游戏。

然而独立测评机构Artificial Analysis却发长文吐槽,称Fable 5.2的智能水平确实高了,token价格也确实便宜了,可每个任务的平均成本却提升了。最让Artificial Analysis难以接受的是,Fable 5.2比以前“话痨”太多了。

性能到底涨在哪?

先看评分。

机器人控制RoboDojo Sim从27.6%到64.9%,直接暴涨2.35倍;图表识别从44.8%到73.4%;远程职业任务从17.9%到41.3%;科研终端从52.6%到74.6%;FrontierCode 2.0从32.4%到49.1%;带工具的HLE从65.6%到74.2%。

电脑操作(Computer Use)OSWorld 2.1只从83.5%到89.3%,提升不大;知识工作AA-Briefcase只从61.5%(ELO 1669)到66.1%(ELO 1785)。

换句话说,在那些耗时越长、工具越多的长任务上,Fable 5.2的涨幅很大。而那种一轮就能答完的题,几乎没什么增长。

那这个长任务到底有多长呢?

Anthropic给出了一组对照试验,他们用了1000个Fable 5.2的agent,花了将近30个小时,就完成了费马大定理的形式化证明。而此前一个未发布的版本,配上专用的“外挂”(定制化工具调度框架,purpose-built harness),外加研究员全程引导,做完相同的工作,仍然需要11天。

并且Fable 5.2的action token,只用了那个未发布版本的三分之一。

换成1000个Opus 5.5的agent,结果显示,18小时完成26%,30小时27%,然后任务就卡住不动了。

除了数学推理这些显而易见的长任务,在Anthropic给出的性能表中所有的长任务基准里,RoboDojo Sim是涨幅最大的一项。博主@himanshu特地发文提醒,在Fable 5.2中,尤其要关注机器人和蛋白质设计这两项。

这个公开基准有42个仿真任务和18个真机任务,双臂,模型只能从摄像头画面里读环境。五个评分维度是泛化、记忆、精度、长程执行和开放词汇指令。

它考的是看着画面、记住前面、连续走完一串动作,如果过程中机器人“歪了”,那它必须得自己纠正。

Anthropic官方表示,它超过了“大多数专为控制机器人而建的AI系统”,因为这些任务都是机器人们完全没有在现实世界中见到过的。

过去大家都觉得,机器人需要专门训练具身智能模型,以解决空间理解、动作规划等问题。而Fable 5.2是一个通用模型,任何一家公司都可以直接用它来训练机器人。这就相当于大幅降低了具身智能公司的训练门槛。

而在Anthropic最擅长的编程领域里,官方博客给出了这样一张图,分别是几个当下最强的大模型在FrontierCode 2.0基准里的跑分。

并且Anthropic还用Fable 5.2不同的effort程度来进行跑分,结果非常令人意外,甚至我一度怀疑是填表的时候写错了。

Fable 5.2的Xhigh模式为全球最强,得分49.1%,每任务14.19美元。而effort调到最高的max档位,得分反而下来了,得分为Max 45.6%,平均每个任务44.70美元。

等于说花了更多时间去思考,还花了更多token,效果反而不如Xhigh模式好。

Anthropic官方给出的原因是:高effort制造的是过度斟酌。

Anthropic认为,较高effort处理例行工作时可能“搜集超出任务所需的上下文并过度斟酌”,还备了防“过度规划”的提示词。而FrontierCode考的是补丁够不够格合进真实仓库,上下文早就在diff里,把两行修复做成带主张的重构,在这套基准里就是不合格,因此得分低于Xhigh。

另外,Anthropic也表示,可能是因为模型想太久导致没法按时交卷,超时会导致扣分。

Fable最大特点是……便宜?

Fable 5.2的token价格从每百万输入10美元降到8,输出从50降到40,降幅20%;输出速度比5.1最多快30%。

fast mode另算,输入16、输出80,价格翻倍,token生成最多再快2.5倍。

缓存读0.20美元,Fable 5是1美元。

Anthropic表示,将Fable 5.2的effort开到High,成绩就能跟Opus 5.5开到头(Max)差不多,而且每个任务的成本只要后者的一半左右。

但Anthropic官方通篇没解释为什么降价。

那这20%从哪来?

9月12日,阿莫迪发文“We Must Pace the Frontier”,说放慢“不意味着停止模型训练或技术进步,而是确保公司有足够时间对齐并给模型加防护”。

10天后的9月22日,Anthropic发Opus 5.5,标价降20%到4和20,并说运行成本比Opus 5低约40%。约两小时后OpenAI发GPT-6 Sol和Luna,比GPT-5.6促销价低约50%。

Ramp经济学家阿拉·哈拉齐安(Ara Kharazian)表示:“这不是什么技术革新,这其实是一种价格战,压低AI价格,也压低了自己的利润率。”

还有一件事让人非常在意,那就是版本序号是5.2,而此前的Opus已经更新到了5.5版本。The New Stack表示,“竟然没叫Fable 5.5,真让人有点意外”。不过对于版本序号,Anthropic并没有任何解释。

在Fable 5.2发布后不到一个小时,打脸的就来了。

独立评测机构Artificial Analysis,发布长帖。说他们把Fable 5.2放上Intelligence Index v5,max档65分登顶,比Opus 5.5的59分高6分,比上一代Fable 5.1的49分高约15分,九项评测里拿下五项最高分。

别急,Fable系列一直是智力天花板,这个毋庸置疑。Artificial Analysis接下来写到,max档平均每个任务要花26.5美元,是Opus 5.5在max档10美元的约2.6倍,也是Fable 5.1的两倍左右。

单价是降了20%,可总成本却翻了一番。并且Artificial Analysis还“补了一刀”,说Fable 5.2在评测里生成了约2.75亿token,同类模型中位数只有7280万,“它话太多了”。

最后一点,性能跑分是能用数值进行衡量的,Anthropic表示,Fable 5.2还在设计方面进行了升级迭代。

于是在Fable 5.2发布不到半个小时,社区当时就有人尝试用Fable 5.2开发FPS游戏。

演示里,枪械、射击反馈和场景都有了。评论区有网友看完,觉得都可以直接发布了。

如果你只知道自己想玩一款什么样的游戏,连第一行代码都还没写,这时候倒可以让 Fable 多想几步。

Source

TMTPost · AGI