MIT researchers propose weight-space programming: GPT-6 Astra modifies about 0.016% of Qwen3.5-0.8B's weights…
English text is being prepared.
MIT CSAIL researchers propose "weight-space programming," in which GPT-6 Astra directly reads and modifies the neural network weights of Qwen3.5-0.8B. By adjusting only about 0.016% (131,072) of the parameters, it raised the model's score on MATH-500 from 7.9% to 48.1% and on GSM8K from 13.8% to 67.1%, all without using gradient descent or a traditional training loop. Astra first located the repeated directions written by the model in the MLPs of layers 15 and 19, weakening the signals that caused reasoning loops, which reduced the proportion of math test responses left incomplete after hitting the 32,768-token limit from 93% to 33.1%, and raised the IFEval score from 21.0% to 62.3%. In the controlled experiments, because Gemma 3 270M originally exhibited few reasoning loops, its MATH-500 score rose only from 6.8% to 7.7%; based on this, the research team believes the method can remove obstacles to existing capabilities but may not necessarily create capabilities the model did not originally possess.
Why read this
AI score 60
The MIT CSAIL team had GPT-6 Astra directly rewrite a small number of Qwen3.5-0.8B's weights, bypassing gradient descent, and provided controlled experiments to illustrate the boundaries of this approach.
Topics
Body
MIT 研究者提出「权重空间编程」：GPT-6 Astra 仅修改 Qwen3.5-0.8B 约 0.016% 权重，数学成绩提升至原来 6 倍
2026-11-03 10:00 IT之家 - 问舟
IT之家 11 月 3 日消息，麻省理工学院计算机科学与人工智能实验室（MIT CSAIL）的研究人员提出了一种名为「权重空间编程」（Weight-Space Programming）的新方法。
他们让 OpenAI 的 GPT-6 Astra 直接分析并修改阿里云通义千问热门模型 Qwen3.5-0.8B 的神经网络权重，仅调整约 0.016% 的参数，就将该模型在 MATH-500 数学基准测试中的成绩从 7.9% 提升至 48.1%，达到原来的约 6.1 倍。据称，整个过程没有使用梯度下降或传统训练循环。
这项研究由 Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab 共同完成。Takehi 于当地时间 11 月 2 日在博客上发布了这项研究，将其称为「权重空间编程」，核心思路是让大语言模型直接读取、理解和修改另一个神经网络的权重，而不是通过常规训练流程调整模型参数。
在具体实验中，GPT-6 Astra 并不是简单地随机调整少量参数，而是先定位 Qwen3.5-0.8B 的推理循环问题。
研究人员发现，该模型容易在回答数学问题时反复生成相同内容，导致大量回答耗尽 32768 个 Token 的长度限制。在最初的 96 次测试回答中，有 85 次触及这一上限。
研究团队为 GPT-6 Astra 提供了一个可以读取和修改模型权重的 Python 环境，并允许其使用 GSM8K 和 MATH 训练集中的练习题进行有限次数的前向推理。Astra 随后定位到第 15 层和第 19 层 MLP（多层感知机）写入的一种重复方向，通过修改这两层的部分权重，削弱了导致推理循环的信号。
最终，Astra 修改了 131072 个权重，占 Qwen3.5-0.8B 约 8 亿个参数的 0.016%。在允许进行 50 轮前向推理的实验中，模型在 MATH-500 上的成绩从 7.9% 提升至 48.1%，在 GSM8K 上从 13.8% 提升至 67.1%。
同时，修改后的模型指令遵循能力也有所改善。在衡量模型指令遵循表现的 IFEval 测试中，修改后的模型成绩从 21.0% 提升至 62.3%，约为原来的 3 倍。与此同时，数学测试中因生成长度达到上限而未能完成回答的比例，从原来的 93% 降至 33.1%。
需要注意的是，这项实验并非完全没有计算过程。GPT-6 Astra 使用了 Python 环境分析和修改权重，也进行了最多 50 轮前向推理，只是没有使用梯度下降、反向传播或传统训练循环来更新参数。
研究人员还使用 Gemma 3 270M 进行了对照实验。由于该模型原本很少出现推理循环，Astra 无法通过类似的局部权重修改显著提升其数学能力，MATH-500 成绩最多仅从 6.8% 提升至 7.7%。研究团队据此指出，权重空间编程可以消除模型已有能力发挥过程中遇到的障碍，但不一定能够凭空创造模型原本不具备的能力。
这项研究还包括其他实验，例如让 GPT-6 Astra 仅通过读取神经网络权重识别模型训练过的游戏、判断小型语言模型的训练语言，以及直接编写能够运行游戏的神经网络。研究人员认为，这种方法有望为神经网络可解释性研究和模型优化提供新的思路。
参考资料：
《Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights》
广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家包含外链的文章均包含本声明。