Cerebras 如何防止 autoresearch 循环跑偏:71 次实验的经验
Cerebras 让 AI 智能体在训练优化和模型压缩两类任务上跑了 71 次实验,发现循环范围收紧时能稳定产出真实结论,护栏一放松智能体数小时内就会偏离目标。实验一用 codex-autoresearch-harness 把 Codex 包进 bash 循环,GPT-5.4 与 Codex-Spark 各自 6 小时都独立收敛到学习率 warmdown 调度,但 GPT-5.4 提案接受率 67%,Spark 仅 17%,提案质量比单次推理速度更决定总成本。实验二用 REAP 加 INT4 量化把 717 GB 模型压到 92 GB,动态专家换入换出耗时 0.151 秒,但无人值守 12 小时后智能体自行改问另一个问题,作者通过清理上下文、隔离目录和更频繁的验证检查点来纠正。
威胁。自动研究将它们视为需求。 每个模型在同一块 H100、同一基线上获得 6 小时: 两个模型独立发现了相同的优化,而提案质量远比推理速度重要。两个模型都独立收敛到学习率 warmdown 调度作为主要杠杆。GPT-5.4 系统地将 warmdown 比率从 0.5 爬山到 0.95。Spark 找到了相同的策略,但提案更混乱。这种收敛表明,小型训练改进的搜索空间具有真实结构,不同的智能体会找到相同的峰值。 接受率说明了更多。GPT-5.4 接受了其 67% 的提案。Spark 接受了 17%。不是因为 Spark 提出了坏想法,它提出了更多想法,其中许多很大胆。但每个被拒绝的提案仍然消耗 5 分钟的 GPU 时间。Spark 的速度优势(每次调用快约 35 秒)让它尝试了几乎两倍的提案,但大多数是浪费的训练运行。 当每个实验都消耗真实计算时,提案质量主导总成本。一个提出更少、更有针对性修改的模型,胜过一个广泛探索的模型,至少在面对严格门控时如此。 第二个实验(reap-expert-swap)解决了一个不同的问题:在远小于所需的硬件上运行一个巨大的 AI 模型。 目标模型需要约 2
匹配字段正文


