OpenAI 首席科学家 Jakub Pachocki 论困惑度与智能
Perplexity and Intelligence
AI 导读
OpenAI 首席科学家 Jakub Pachocki 主张将困惑度或交叉熵损失作为比较模型开发者、制定共享安全标准的指标,并公开了部分内部预训练数据。GPT‑3.5 和 GPT‑4 在其主要评估数据集上的 log-perplexity 分别约为 0.99 和 0.91,低于 0.8 后出现了网络安全和数学领域的新能力。文章提议开发者设立基于困惑度等测量的共同开发界限,在 AI 行为理解与监控达到具体里程碑前不跨越这些界限。
推荐理由
精选AI 评分 77
文章将 OpenAI 内部预训练损失曲线与能力跃迁相联系,为跨实验室制定透明度和开发节奏标准提供了可讨论的量化框架。
主题
正文
当前公开范围只允许站内摘要。请通过经校验的原文入口继续阅读。
AI 热点