Nathan Lambert：高端模型实际可用性比 AA 分数更重要
At the top end of models, real-world usability matters a lot more than +/- 2 points on AA. This takes a while to understand for a model, where AA is a sort of p
AI 导读
针对 Kimi K3.1 发布后 OpenAI 在 AA 分析榜跌出前五的讨论，Nathan Lambert 认为在顶级模型层面，真实可用性远比 AA 上 ±2 分的差距重要；AA 分数更像一种潜力指标，有的模型能兑现（如 opus 5 与 5.5），有的则不能，而 3.1 可能更偏向未能兑现的一侧。
查看原帖在Kimi K3.1发布后，OpenAI在AA分析榜上甚至已跌出前五 https://t.co/SEl1QZ9jiX
查看原文
OPENAI IS NO LONGER EVEN TOP 5 ON AA ANALYSIS AFTER KIMI K3.1 https://t.co/SEl1QZ9jiX
正文 · AI 翻译
在模型的高端层面，真实世界的可用性远比 AA 上 ±2 分的差距重要得多。这一点对模型来说需要一段时间才能理解，AA 在某种程度上是一种潜力指标，但有些模型能兑现，有些则不能（例如 opus 5 与 5.5）。看起来 3.1 可能更偏向未能兑现的一侧。