芝加哥大学：LLM 自述决策关键因素不可靠
New University of Chicago paper suggests that an LLM's own account of what matters to its decision is a poor guide to what actually varies across its answers.
芝加哥大学新论文发现，LLM 无法预测自身答案分歧的关键问题，其自述的决策关键因素与真实因素吻合度仅 13.4%，低于随机打乱的 39.2%。研究让模型多次预测 59 场 March Madness 比赛和 15 个 Metaculus 事件，再用 reranker 比对答案对，计算量比本地 LLM 评审低约 86 倍。单个答案覆盖真实关键因素 28.6%，基线为 37.8%。
正文 · AI 翻译
芝加哥大学的一篇新论文指出，LLM 对自身决策中哪些因素重要的自述，并不能很好地反映其答案之间实际存在差异的地方。
LLM 无法预测自身答案在哪些关键问题上产生分歧，而只有比较大量答案才能揭示这一点。
当 LLM 给出推荐时，你希望得到它的关键分歧点，即驱动其结论的少数几个子问题。事先询问模型，或只读它的一个答案，成本低，但可能错过真正驱动它的因素。
他们让模型对 59 场 March Madness 比赛和 15 个 Metaculus 事件进行多次预测，然后比较成对的预测以找出有争议的事实。一个 reranker 使这种匹配成本很低，估计计算量比本地 LLM 评审低 86 倍。
在 March Madness 中，预测的关键分歧点与真实关键分歧点的聚类重合率为 13.4%，低于随机打乱给出的 39.2%。单个答案表现更好，但只覆盖了 28.6% 的真实关键分歧点，而基线为 37.8%。
对于高风险决策，应采样大量答案并观察它们的分歧之处，而不是信任模型自己列出的重要因素。