先了解这件事
AI 综述
2026年10月5日,Diogo Almeida 提出,benchmaxxed 模型与真正关注可靠性的模型之间存在关键差异,且这种差异按定义不会体现在基准测试上。同日稍后,他进一步指出基准测试存在偏差问题:基准按定义只能捕捉通用智能地图的一小部分,容易为了已知的那部分过度优化,从而牺牲其余部分;他同时承认可以对可靠性的某些方面做基准测试,例如通过 pass^k 衡量一致性。目前该观点仍停留在讨论层面,没有更多有证据支持的发展。
AI 根据公开报道生成
最新进展 · 正式报道
基准测试的偏差：只能覆盖通用智能的一小部分事件进展
2 个已确认进展
- 来源：@completeskeptic
- 来源：@completeskeptic
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
10月5日
@completeskeptic
基准测试的偏差：只能覆盖通用智能的一小部分
不完全是——你可以对可靠性的某些方面做基准测试（例如通过 pass^k 衡量一致性） 我对基准测试的疑虑在于偏差。按定义，它们只能捕捉通用智能地图的一小部分，而且很容易为了已知的那部分地图过度优化，牺牲掉其余部分
@completeskeptic
刷榜模型与可靠模型的关键差异
刷榜模型和那些由真正关心可靠性的人做出的模型之间存在关键差异，而这种差异按定义不会体现在基准测试上 （对于 string LLMs，我们多少已经认识到这一点了……）