Open Athena 作者 David Hall 分析后训练数据为何没有公共池
There is no posttraining data commons | Open Athena
AI 导读
Open Athena 作者 David Hall 指出，预训练有 Common Crawl 这类现成公共语料，后训练消耗的是任务而非文档，因此不存在对应的数据公共池。他以 SWE-bench 为例说明任务制造成本：12 个 Python 仓库的 9 万多条 PR 中仅 2294 条成为原始任务，OpenAI 人工复核 1699 条后只留下 500 条 Verified 任务。他认为开源社区需要系统性把人类活动转写为 RL 任务，否则训练前沿模型的能力将集中在少数公司手中。
正文
当前公开范围只允许站内摘要。请通过经校验的原文入口继续阅读。