MIT 研究显示 GPT-6 Astra 可直接改权重提升 Qwen3.5-0.8B 数学能力
MASSIVE. MIT researchers showed that GPT-6 Astra can improve another AI model by changing its weights directly, without training.
MIT 研究者让 GPT-6 Astra 在 Python notebook 中直接编辑 Qwen3.5-0.8B 的权重，在 MATH-500 上把准确率从 7.9% 提升到 48.1%，全程不训练。Astra 获得权重和 50 次练习数学题测试预算后，发现模型反复重复直到触及长度上限，将这一习惯定位到 2 层写入的单个内部信号，并从权重中减去该信号。这次编辑只改动了 0.016% 的权重，作者将这一方法称为 Weight-Space Programming。
查看原帖我们让 GPT-6 Astra 编辑 Qwen3.5-0.8B 的权重以提升数学能力。 它仅直接改动了 0.016% 的权重，就修复了 0.8B 的推理循环，将数学能力最高提升 6 倍，甚至将指令遵循能力提升 3 倍，全程无需梯度或训练。 我们将此称为权重空间编程（Weight-Space Programming）：前沿大语言模型如今能够原生读写神经网络权重！🧵 博客：https://t.co/bOWCcFhCVq
查看原文
We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math. It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training. We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵 Blog: https://t.co/bOWCcFhCVq
正文 · AI 翻译
重磅。MIT 研究人员展示，GPT-6 Astra 可以通过直接修改另一个 AI 模型的权重来提升其性能，而无需训练。
在这里，GPT-6 Astra 通过编辑 Qwen3.5-0.8B 0.016% 的权重，在无需训练的情况下，将其在 MATH-500 上的成绩从 7.9% 提升到 48.1%。
Astra 在一个 Python notebook 中获得了 Qwen 的权重，以及 50 次在练习数学题上测试的预算。它发现该模型不断重复自身，直到触及长度上限，并将这一习惯追溯到由其 2 层写入的单个内部信号，然后从权重中减去该信号。
循环消失后，该模型能够完成它本来就有能力解决的答案。
这一次有针对性的编辑改变了 0.016% 的权重，并将数学准确率从 7.9% 提升到 48.1%。