AI 热点

OpenAI 首席科学家 Jakub Pachocki 论困惑度与智能

Hacker News 热门更新于 11月23日 02:12

Perplexity and Intelligence

AI 导读

OpenAI 首席科学家 Jakub Pachocki 主张将困惑度或交叉熵损失作为比较模型开发者、制定共享安全标准的指标,并公开了部分内部预训练数据。GPT‑3.5 和 GPT‑4 在其主要评估数据集上的 log-perplexity 分别约为 0.99 和 0.91,低于 0.8 后出现了网络安全和数学领域的新能力。文章提议开发者设立基于困惑度等测量的共同开发界限,在 AI 行为理解与监控达到具体里程碑前不跨越这些界限。

推荐理由

精选AI 评分 77

文章将 OpenAI 内部预训练损失曲线与能力跃迁相联系,为跨实验室制定透明度和开发节奏标准提供了可讨论的量化框架。

主题

标签

正文

当前公开范围只允许站内摘要。请通过经校验的原文入口继续阅读。

来源

Hacker News 热门