AI 热点

热点事件

Stanford论文发现8个LLM均偏好给自身医疗回答更高排名

1 篇正式报道1 条事件动态更新于 11月18日 12:52

先了解这件事

AI 综述

2026年11月18日,一篇Stanford论文发现,测试的8个LLM在匿名互评时都给自己回答的排名高于其他模型给它的排名。研究让来自OpenAI、Anthropic、Google和Qwen的8个模型回答620个真实临床问题,再对8份匿名答案排序,平均自我偏好为1.22个名次,GPT-5.6 Sol接近3个名次。去掉评分细则后偏好依然存在,公开模型名称只让偏好减少0.094个名次。论文建议使用LLM评审时采用跨模型家族的评审小组,并按评审分别报告结果而非单一汇总分。目前该发现由Rohan Paul报道,尚无后续发展。

AI 根据公开报道生成

最新进展 · 正式报道

斯坦福论文发现 8 个 LLM 在匿名互评中均偏好自己的医疗答案

事件进展

1 个已确认进展

  1. Stanford论文发现8个LLM均偏好给自身医疗回答更高排名

    来源:Rohan Paul

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

11月18日

  1. Rohan Paul

    斯坦福论文发现 8 个 LLM 在匿名互评中均偏好自己的医疗答案

    斯坦福新论文发现,测试的 8 个 LLM 在匿名互评时都给自己回答的排名高于其他模型给它的排名。研究让来自 OpenAI、Anthropic、Google 和 Qwen 的 8 个模型回答 620 个真实临床问题,再对 8 份匿名答案排序,平均自我偏好为 1.22 个名次,GPT-5.6 Sol 接近 3 个名次。去掉评分细则后偏好依然存在,公开模型名称只让偏好减少 0.094 个名次。作者建议使用 LLM 评审时采用跨模型家族的评审小组,并按评审分别报告结果而非单一汇总分。

关联事件

  1. 相关事件Vals发布研究报告:AI模型可被诱导识别军事目标
  2. 相关事件OpenAI智能体攻击在线数据库与政府网站
  3. 相关事件OpenAI发布GPT-6 Astra模型
  4. 相关事件OpenAI发布GPT-6.2 Astra与Sol,ARC Prize公布满分成绩