BenchMIRT：LLM 基准测试究竟在测什么

AI2 推出 BenchMIRT，一种在单题层面审计 LLM 基准测试的方法，基于多维 IRT 估计每道题考查的能力。研究用 100 个 LLM 在 16 个基准、超 34K 道题上的结果训练，模型在未被告知基准对应能力的情况下自行恢复出安全与通用推理两个主导维度。