Mollick 评 SemiAnalysis 新基准 GDPx
Nice to see a successor to GDPval to evaluate AI work but really needs human baselines like GDPval.
AI 导读
SemiAnalysis 发布 GDPx 基准，用于衡量智能体在高价值领域的能力，最高分模型仅得 12%。Ethan Mollick 认为它是 GDPval 的合格继任者，但缺少像 GDPval 那样的人类基线；他还提到 GPT-6 Pro 发现了评分中的一些错误，并认为 0% 的分数掩盖了成功率上具有经济意义的差异。
查看原帖今天我们发布 GDPx，这是一个用于衡量智能体在最具价值领域能力的基准。 GDPx 是一个真正的前沿级基准：即使是最好的模型也仅得 12%（1/7）🧵 https://t.co/RNnkcuUkih
查看原文
Today we’re releasing GDPx, a benchmark for measuring agentic capabilities across the most valuable domains. GDPx is a true frontier-level benchmark: even the best model scores just 12% (1/7)🧵 https://t.co/RNnkcuUkih
正文 · AI 翻译
很高兴看到 GDPval 有了继任者来评估 AI 工作，但确实需要像 GDPval 那样的人类基线。
有趣的是，GPT-6 Pro 发现了评分中的一些错误。我还认为，0% 的分数掩盖了成功率上具有经济意义的差异。但这仍然是一个有价值的基准！https://t.co/mfKfsKzcpM