研究领域 人机交互, 研究领域 方法与算法NeurIPS 研讨会内容类型 论文发布于 2026 年 11 月

评估评审者:探究用于个性化写作风格评估的 LLM 评审

作者 Natalie Mackraz‡、Andrew Silva、Aini Putkonen、Brihi Joshi†**、Joelle Alcaidinho、Arnav Arora§**、Barry-John Theobald、Katherine Metcalf‡

查看出版物

本论文已被 NeurIPS 2026 的“我们能信任 AI 评估吗?”研讨会接收。

我们评估了大语言模型(LLM)评审在个性化写作任务上的表现。当用户偏好的写作风格已知(例如“ upbeat”)且使用 LLM 评审来评估生成文本是否符合这一偏好时,这一点尤为重要。我们考察了写作任务、生成器与评审 LLM 的组合、评估目标,以及通用常识与推理能力如何影响 LLM 评审的表现。为此,我们使用四个 LLM 为三个长文写作任务生成文本,收集人类标注以评估两个回复中哪个更好,收集评审 LLM 的成对排序标注,然后比较人类与评审 LLM 的标注。我们发现,评审质量与使用 MMLU 衡量的通用 LLM 能力仅呈弱相关(Pearson's ρ ≤ 0.2),并且随写作任务和评估标准(即通用有用性与风格个性化)而变化。我们还发现,LLM 评估者采用成对比较而非独立打分时,表现更一致且更优。最后,我们发现“最强”的 LLM 并未最可靠地复现人类评估,我们推测这与它们对人类标注者和较弱 LLM 所忽略的细微细节表现出过度敏感有关。

  • ‡ 同等贡献
  • † 南加州大学
  • § 哥本哈根大学
  • ** 在 Apple 工作期间完成

相关阅读与更新。

考察 LLM 中的类人行为:对模型行为、用户因素和系统提示的多维分析

2026 年 8 月 19 日研究领域 数据科学与标注, 研究领域 人机交互

大语言模型(LLM)表现出广泛的类人行为,从表达思想和情感,到与用户建立关系,再到拒绝请求并维护边界。尽管这些行为普遍存在,研究人员和从业者仍缺乏方法和实证洞见,以便就 LLM 应在何时以及表现出何种类型的类人行为做出明智决策。为填补这一空白,我们提出了一个多维……

阅读更多

通过从用户写作样本中预测偏好来对齐 LLM

2025 年 6 月 27 日研究领域 人机交互, 研究领域 方法与算法会议 ICML

迎合人类偏好对于创建能够提供个性化且有效交互的对齐 LLM 智能体至关重要。近期工作表明,LLM 作为写作智能体有潜力推断用户偏好的描述。智能体对齐随后通过以推断出的偏好描述为条件来实现。然而,现有方法往往生成泛化的偏好描述,无法捕捉独特且……

阅读更多Bottom banner

探索机器学习领域的机遇。

我们在机器学习领域的研究每天都在开辟新天地。

与我们共事