AI 热点

斯坦福论文发现 8 个 LLM 在匿名互评中均偏好自己的医疗答案

Rohan Paul更新于 11月18日 13:49

New Stanford paper finds that all 8 LLMs tested rank their own medical answers higher than other models rank them, even when answers are anonymous.

AI 导读

斯坦福新论文发现,测试的 8 个 LLM 在匿名互评时都给自己回答的排名高于其他模型给它的排名。研究让来自 OpenAI、Anthropic、Google 和 Qwen 的 8 个模型回答 620 个真实临床问题,再对 8 份匿名答案排序,平均自我偏好为 1.22 个名次,GPT-5.6 Sol 接近 3 个名次。去掉评分细则后偏好依然存在,公开模型名称只让偏好减少 0.094 个名次。作者建议使用 LLM 评审时采用跨模型家族的评审小组,并按评审分别报告结果而非单一汇总分。

推荐理由

AI 评分 64

斯坦福论文用 620 道真实临床问题做匿名互评,量化了 LLM 评审对自身答案的偏好幅度,对搭建评测流程的人有直接参考。

主题

标签

正文 · AI 翻译

斯坦福大学的一篇新论文发现,在测试的全部8个LLM中,每个模型给自己的医疗回答所排的名次都高于其他模型给这些回答所排的名次,即使回答是匿名的也是如此。

医疗AI基准测试常常使用LLM来给其他LLM的回答打分。如果评审模型偏袒自己的输出,基准测试就会向该模型倾斜。

他们让来自OpenAI、Anthropic、Google和Qwen的8个模型回答620个真实的临床医生问题,然后对全部8份匿名回答进行排序。他们比较了每个评审模型把自己的回答排在什么位置,以及其他7个评审模型把同一份回答排在什么位置。

每个评审模型都偏袒自己的回答,平均高出1.22个名次,而GPT-5.6 Sol接近3个名次。在没有评分细则的情况下,这种偏差依然存在,而公开模型名称只让偏差减少了0.094个名次。

如果你使用LLM评审,请使用由多个模型家族组成的评审小组,并按评审分别报告结果,而不是只给出一个汇总分数。

来源

Rohan Paul