先了解这件事
2026年10月28日,Nathan Lambert发表对Artificial Analysis新发布的Intelligence Index v5的评析。该指数按知识工作、编码、科学、通用各25%加权,并给出新的模型排名。Lambert指出,榜单中8个闭源模型领先最好的开源模型Kimi K3.1 Pro,认为新指数更偏向衡量前沿模型走向,可能低估开源模型在经济中的作用。同日,他表示自己同时想为AAv5指数和开源模型辩护,并认为基准测试比多数人以为的更混乱、更主观、也更棘手。文章还讨论了转向私有基准的利弊,以及基准机构靠模型厂商付费验证结果的商业模式对可信度的影响。
AI 根据公开报道生成
最新进展 · 正式报道
Nathan Lambert 评基准测试:开源模型未衰,AA 指数曾高估事件进展
1 个已确认进展
- 来源:Interconnects
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
10月28日
Nathan Lambert
Nathan Lambert 评基准测试:开源模型未衰,AA 指数曾高估
Nathan Lambert 认为开源模型的衰落被夸大,但此前的 AA 指数确实对它们有所高估。他主张业界需要更细分的智能指数,因为 LLM 被用于差异极大的任务;这是他针对基准测试行业的元评测。
Interconnects
Artificial Analysis v5 与基准测试者的两难
Nathan Lambert 评述 Artificial Analysis 新发布的 Intelligence Index v5,该指数按知识工作、编码、科学、通用各 25% 加权,并给出新的模型排名。他指出榜单中 8 个闭源模型领先最好的开源模型 Kimi K3.1 Pro,认为新指数更偏向衡量前沿模型走向,可能低估开源模型在经济中的作用。文章还讨论了转向私有基准的利弊,以及基准机构靠模型厂商付费验证结果的商业模式对可信度的影响。
Nathan Lambert
Nathan Lambert 为 AAv5 指数与开源模型辩护
Nathan Lambert 表示,他同时想为 AAv5 指数和开源模型辩护,并认为基准测试比多数人以为的更混乱、更主观、也更棘手。
本事件热度走势
- 当前
- 5
- 区间峰值
- 6 10月30日 14:00
- 近 24 小时变化
- —
移动指针或点击图表可查看每小时热度;键盘可用左右方向键切换。