MIT CSAIL proposes weight-space programming: GPT-6 Astra directly rewrites neural network weights
English text is being prepared.
The MIT CSAIL team proposes a weight-space programming method that lets GPT-6 Astra directly read and modify neural network weights without training or computing gradients. On Qwen3.5-0.8B, Astra modifies only about 0.016% of the weights, raising MATH-500 from 7.9% to 48.1%, GSM8K from 13.8% to 67.1%, and IFEval from 21.0% to 62.3%, mainly because it fixed the model's failure of getting stuck in reasoning loops. The research was led by doctoral students Rikiya Takehi and Jayden Teoh, with participation from Omar Khattab and others, and the results were published on the research blog "Sparks of Weight-Space Programming"; additional experiments on Gemma 3 270M yielded improvements of no more than about 1 percentage point, and the team says more independent replications are still needed.
Why read this
AI score 63
The original text provides concrete experimental data for weight-space programming on small networks, and also explains its boundary case where it failed to stably improve capability on Gemma 3 270M.
Topics
Body
MIT CSAIL团队提出了一种叫“权重空间编程”（Weight-Space Programming）的方法：不训练、不算梯度，让GPT-6 Astra直接读取和修改神经网络的权重。
在Qwen3.5-0.8B的实验中，Astra仅修改约0.016%的权重，就将模型的MATH-500成绩从7.9%提升至48.1%，GSM8K从13.8%提升至67.1%，IFEval指令遵循成绩也从21.0%提升至62.3%。
这意味着，大模型开始具备直接理解和编辑神经网络参数的能力。
这项工作由MIT CSAIL博士生Rikiya Takehi与Jayden Teoh共同领衔，合作者包括Alex Zhang和Omar Khattab。研究团队将相关成果发布在《Sparks of Weight-Space Programming》研究博客中。
一、什么是权重空间编程？
权重是神经网络中的核心参数，决定模型如何处理输入信息，并生成最终输出。
传统模型训练通常需要准备数据、计算损失和梯度，再通过优化器不断调整权重。整个过程依赖大量计算，模型内部的参数也难以被人类直接理解。
权重空间编程提供了一种不同思路：
将神经网络的权重视为一种可以被大模型读取、分析和修改的对象。
通用大模型直接根据自然语言目标，判断网络的功能、定位异常结构，并修改相应参数。
在这项研究中，Astra主要完成了三类任务：1.读取权重，判断神经网络被训练来执行什么任务；2.修改权重，修复网络中的特定故障；3.从零生成权重，构造具备特定功能的小型网络。
研究团队首先测试了Astra理解神经网络权重的能力。
在第一组实验中，研究人员使用PPO训练了四个结构完全相同的小型神经网络，分别用于玩Breakout、Pong、Pac-Man和Freeway。
Astra获得全部原始权重，但不知道候选游戏名称，也不能通过运行网络观察行为。最终，它正确识别出了四个网络各自对应的游戏。
在第二组实验中，研究人员训练了三个扩散模型，分别生成圆形、三角形和正方形。Astra同样只根据权重，成功判断了每个模型的生成目标。
第三组实验进一步扩展到语言模型。研究人员训练了三个参数量为720万的小型Transformer，分别学习Python代码、罗马字日文和英文。即使只提供中间层权重，移除输入和输出层，Astra仍然能够识别训练语料类型，并找出网络中的复制注意力头。
这些实验表明，通用大模型可能不仅能够处理文本和代码，也能从权重中提取神经网络的功能信息。
二、仅修改0.016%权重，修复推理循环
Qwen3.5-0.8B实验是这项研究中最受关注的部分。
该模型在开启思考模式后容易陷入推理循环，反复输出相似内容，无法及时给出最终答案。基线测试中，MATH-500有93%的回答触及32768个token的长度上限。
Astra通过Python接口访问模型权重，并使用GSM8K和MATH训练集中的练习题检查模型行为，但不能使用训练或梯度信息，也不能接触最终测试集。
经过分析，Astra将问题定位到第15层和第19层的部分MLP结构，并删除了一个与重复输出有关的方向。
这次修改共涉及131072个权重，约占模型总权重的0.016%。修改后，MATH-500回答触及token上限的比例从93%下降至33.1%。
因此，这次成绩提升主要不是向模型注入新的数学知识，而是修复了阻碍模型完成推理的故障。部分原本能够解决的问题，在修改后可以正常输出完整答案。
不过，最终补丁虽然很小，分析过程并不简单。表现最好的实验使用了50轮评估请求、158轮对话和80次Python运行，耗时20.3小时。
三、从零编写神经网络权重
研究团队还测试了Astra从零生成网络参数的能力。
在Breakout、Seaquest和Asterix三款MinAtar游戏中，Astra获得游戏规则、源代码和网络结构，但不能使用训练数据、损失函数、梯度或环境试玩。
它直接生成的新网络，在三款游戏中均超过了经过1亿步PPO训练的对应网络。
与训练5亿步的PPO网络相比，Astra生成的网络在Breakout中取得约20倍分数，在Asterix中表现接近，在Seaquest中达到后者约60%的分数。
在9×9围棋实验中，Astra生成了一个约148万参数的网络。随着允许使用的前向评估次数增加，网络表现继续提升；在50次前向评估的条件下，它击败了经过2000万局训练的同等规模PPO网络。
这些结果说明，大模型可能已经能够根据任务描述，将部分算法逻辑直接转换为神经网络权重。
不过，相关实验仍主要集中在结构简单、规模较小的网络上，能否扩展到更大、更复杂的模型，还需要进一步验证。
为了区分“修复故障”和“提升能力”，研究团队还在Gemma 3 270M上进行了追加实验。
Gemma 3 270M很少出现推理循环，主要错误来自算术和代数推理。Astra尝试了多轮针对性修改，但MATH-500成绩的提升始终未超过约1个百分点，无法确认模型获得了稳定改进。
这表明，权重空间编程目前更适合处理明确、集中的模型故障，例如异常循环或特定行为，而不能直接增加模型原本不具备的知识和推理能力。
同时，Astra在另一项实验中未能仅凭权重识别哪个模型经过谄媚行为训练，也说明其权重理解能力并不稳定，仍然存在任务边界。
目前，这些成果属于研究团队发布的早期结果，尚需更多独立复现和系统评估。
如果这种方法能够进一步扩展，它可能用于定位模型故障、删除异常行为、提高可解释性，甚至根据自然语言需求生成特定网络。
但现阶段的实验还不足以证明它可以取代训练，也不意味着大模型已经能够普遍地“手搓”其他模型。
这项研究更重要的意义在于，它展示了一种新的交互方式：
不只是生成文本和代码，也开始理解并编写神经网络本身。
本文来自微信公众号“大数据文摘”，36氪经授权发布。