先了解这件事
事件摘要
还没有公开综述,先看下面的报道时间线。
最新进展 · 正式报道
Google Research 评估 LLM 行为倾向的对齐程度事件进展
1 个已确认进展
- 来源:Google Research
报道与讨论时间线
按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。
4月3日
Google Research一手
Google Research 评估 LLM 行为倾向的对齐程度
Google Research 提出一套系统评估框架,把心理学中经过验证的问卷改编为情境判断测试(SJT),在真实用户-助手场景中衡量 LLM 行为倾向与人类共识的对齐程度。研究对 25 个 LLM 在共情、情绪调节等 4 项特质上测试,发现两类差距:模型倾向偏离人类标注者共识,以及在无共识时无法覆盖人类意见的分布范围。较小模型(<120B)与前沿闭源模型在人类标注者一致同意时对齐度接近完美,但共识低于 90% 时对齐度停滞在 80% 出头。