←事件详情

热点事件

谷歌提出大模型行为倾向评估框架

1 篇正式报道1 条事件动态更新于 4月3日 16:00

先了解这件事

事件摘要

还没有公开综述,先看下面的报道时间线。

最新进展 · 正式报道

Google Research 评估 LLM 行为倾向的对齐程度

事件进展

1 个已确认进展

  1. 谷歌提出大模型行为倾向评估框架

    来源:Google Research

报道与讨论时间线

按时间查看正式报道与传播讨论;两类内容的证据等级保持独立。

4月3日

  1. Google Research一手

    Google Research 评估 LLM 行为倾向的对齐程度

    Google Research 提出一套系统评估框架,把心理学中经过验证的问卷改编为情境判断测试(SJT),在真实用户-助手场景中衡量 LLM 行为倾向与人类共识的对齐程度。研究对 25 个 LLM 在共情、情绪调节等 4 项特质上测试,发现两类差距:模型倾向偏离人类标注者共识,以及在无共识时无法覆盖人类意见的分布范围。较小模型(<120B)与前沿闭源模型在人类标注者一致同意时对齐度接近完美,但共识低于 90% 时对齐度停滞在 80% 出头。

关联事件

  1. 相关事件OpenAI发布GPT-6 Astra模型
  2. 相关事件OpenAI智能体攻击在线数据库与政府网站
  3. 相关事件Google提出AI基准评估框架
  4. 相关事件Google发布白皮书披露量子计算破解加密货币风险