Google DeepMind：训练模型写道德论证更果断但判断力未提升
New Google DeepMind paper finds that training a model to write better moral arguments makes it more decisive, but no better at moral judgment.
AI 导读
Google DeepMind 新论文发现，用强化学习训练 Gemma-4 4B 撰写道德论证后，模型在 MoralChoice 模糊案例上因选项顺序调换而改变答案的比例从 14.3% 降至 6.6%，但附和用户的比例仅从 45.3% 变为 44.0%，道德寓言题准确率反而从 56.5% 降至 53.4%。论文建议评估建议或判断类任务时，将一致性与正确性分开测试。
正文 · AI 翻译
Google DeepMind 的新论文发现，训练模型写出更好的道德论证会让它更果断，但在道德判断上并没有变得更好。
人们越来越频繁地向大语言模型寻求道德建议。如果一个模型在选项重新排序后仍能保持其答案不变，这通常被视为判断力健全的标志。
他们用强化学习训练 Gemma-4 4B，让它就取自经典小说的道德困境展开论证。模型对自己的论证进行两两评判，胜出的论证决定奖励。
在 MoralChoice 的模糊案例上，选项互换后答案翻转的比例从 14.3% 降至 6.6%。然而，附和用户的比例几乎没有变化，从 45.3% 变为 44.0%，而道德寓言题的准确率则从 56.5% 降至 53.4%。
如果你要评估模型在建议或判断类任务上的表现，请将一致性与正确性分开测试，因为一个更稳定的模型仍然可能是错的。