先了解这件事
AI 综述
2026年9月2日,BenchMIRT 发布,用于分析并拆解大模型基准中的推理与安全能力信号。该方法借鉴心理测量学的项目反应理论(IRT),采用多维 IRT 在模型和题目两个层面拆解 LLM 基准测试。据 Hugging Face 介绍,BenchMIRT 基于 100 个 LLM、16 个基准、超 34K 道题训练,在未被告知基准对应能力的情况下自行恢复出安全与通用推理两个主导维度。此外,仅保留 10% 题目即可大致还原模型强弱排序,预测模型未答题正确率的准确率为 79%,高于简单基线的 70%。目前尚无后续发展事实。
AI 根据公开报道生成
最新进展 · 正式报道
BenchMIRT：LLM 基准测试究竟在测什么？事件进展
1 个已确认进展
- 来源：Hugging Face
报道与讨论时间线
按时间查看正式报道与传播讨论；两类内容的证据等级保持独立。
9月2日
Hugging Face一手
BenchMIRT：LLM 基准测试究竟在测什么？
BenchMIRT 借鉴心理测量学的项目反应理论（IRT），用多维 IRT 在模型和题目两个层面拆解 LLM 基准测试。它基于 100 个 LLM、16 个基准、超 34K 道题训练，在未被告知基准对应能力的情况下自行恢复出安全与通用推理两个主导维度。仅保留 10% 题目即可大致还原模型强弱排序，预测模型未答题正确率的准确率为 79%，高于简单基线的 70%。