MIT CSAIL 提出权重空间编程,GPT-6 Astra 直接改写 Qwen3.5-0.8B 权重
今日 X 上 AI 最火:MIT CSAIL 的博士生 Rikiya Takehi 和他的团队提出了“权重空间编程”的方法,不训练、不算梯度,让 GPT-6 Astra 直接读写神经网络的权重。实验只修改了 Qwen3.5-0.8B 约 0.016% 的权重,就让 MATH-500 从 7.9 涨到 48.1,GSM8
MIT CSAIL 博士生 Rikiya Takehi 及团队提出“权重空间编程”,让 GPT-6 Astra 直接读写神经网络权重,不训练也不算梯度。实验只修改 Qwen3.5-0.8B 约 0.016% 的权重,MATH-500 从 7.9 升到 48.1,GSM8K 从 13.8 升到 67.1;据作者说法,这修复了该 0.8B 模型的推理循环,数学能力最高提升 6 倍,指令遵循提升 3 倍。
查看原帖我们让 GPT-6 Astra 编辑 Qwen3.5-0.8B 的权重以提升数学能力。 它仅直接改动了 0.016% 的权重,就修复了 0.8B 模型的推理循环,数学能力最高提升 6 倍,指令遵循能力甚至提升 3 倍,且无需梯度或训练。 我们称之为权重空间编程:前沿大语言模型如今能够原生地读写神经网络权重!🧵 博客:https://t.co/bOWCcFhCVq
查看原文
We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math. It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training. We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵 Blog: https://t.co/bOWCcFhCVq
正文
今日 X 上 AI 最火:MIT CSAIL 的博士生 Rikiya Takehi 和他的团队提出了“权重空间编程”的方法,不训练、不算梯度,让 GPT-6 Astra 直接读写神经网络的权重。实验只修改了 Qwen3.5-0.8B 约 0.016% 的权重,就让 MATH-500 从 7.9 涨到 48.1,GSM8K 从 13.8 涨到 67.1 ... 大模型手搓小模型,指日可待🤟