Google 研究员 Alex Krentsel 复现 Weight-Space Programming 实验…
Google 研究员 @AlexKrentsel 复现了 MIT 博文里的「Weight-Space Programming」实验，还补了一条发现：跨多代模型扫下来，这项能力几乎只在最新一批前沿模型上突然变强，而不是一路平滑变好。
Google 研究员 Alex Krentsel 复现了 MIT 博文中的 Weight-Space Programming 实验 Exp. 5：各模型在一次回复里不训练、不用工具，直接写出一个可玩 Breakout 网络的全部约 2 万个权重，以 PPO 强化学习训出的网络为 1× 基准。跨代扫描显示 GPT-5 到 5.5、Opus 4.5 到 4.8 基本在基线附近或更弱，GPT-5.6 Sol、Opus 5 略过 1×，到 GPT-6.1 Sol、GPT-6 Astra 与 Opus 5.5 才跳到约 18×–22×，他认为这是刚在最新一批模型上出现的台阶式新能力。他强调被写权重的网络只有约 20486 个参数，与万亿参数级前沿模型差几个数量级，不能外推为大模型已能改自己，目前仍是外层模型改内层小网络，并表示正在开源权重模型上复现。
查看原帖我今天复现了 MIT 博文中关于权重空间编程的结果。但我必须补充一个额外的结果：这是一项全新的、阶跃式的新兴能力，仅仅出现在最新一批模型中。https://t.co/EhMsQaaOkL
查看原文
i've reproduced the results from the MIT blog post today on weight-space programming. but one additional result i have to add: this is a new, step-change emerging capability that's appeared in just the latest set of models. https://t.co/EhMsQaaOkL
正文
Google 研究员 @AlexKrentsel 复现了 MIT 博文里的「Weight-Space Programming」实验，还补了一条发现：跨多代模型扫下来，这项能力几乎只在最新一批前沿模型上突然变强，而不是一路平滑变好。
关于 Weight-Space Programming https://t.co/VOdvYVPXw0
看看 Alex 复现了什么 复现的是原文 Exp. 5：各模型在一次回复里、不训练、不用工具，直接写出一个可玩 Breakout 的网络的全部约 2 万个权重；提示与计分与原文一致，1× 对标文中用 PPO 强化学习训出的网络。
GPT-5 到 5.5、Opus 4.5 到 4.8 基本在基线附近或更弱；GPT-5.6 Sol、Opus 5 略过 1×；到 GPT-6.1 Sol / GPT-6 Astra、Opus 5.5 才跳到大约 18×–22×。因此 Alex 说：这是刚在最新一批模型里冒出来的台阶式新能力。
必须看清的前提 被编辑、被写出权重的那个 Breakout 网络只有约 20486 个参数；前沿大模型是大约 万亿 量级。他强调这是很早的分享，规模差了好几个数量级，不能直接外推成「大模型已经能改自己」。
他怎么理解这件事：像 2010 年代可解释性研究里「某个神经元见狗就亮」那种手工观察，但能力已经超出人能手改的规模，人以前手工做几十到上百节点，再靠工具做到大约千级；现在是推理能力让模型能对更大但仍相对很小的网络动手。
下一步与他怎么回应质疑 他觉得很自然的下一步是运行时在权重里自我改进，但以现在外模型与内模型的体量差，还不现实；若趋势延续，可能再过几代才谈得上。有人问是不是已经在自改，他澄清：目前是外层模型改内层小网络，还没有自编辑。对「是不是闭源模型后训练专门刷过这类题」，他说自己看不到幕后；对「为什么不用中国开源模型」的批评，他表示正在开源权重（含中国模型）上复现，先从当前最强的 Astra、Fable/Opus 5.5 起手，并说兴奋点其实是本地开源权重最终能自己改自己，而不是闭源模型摸别人的权重。
也有评论认为任务过简、提示给的信息太多、不宜叫涌现；他回应：问题确实简单、网络确实小，但权重编辑与可解释性这条线上，人已经挣扎很久，他更看重的是跨代次的趋势。