MIT experiment claims GPT-6 Astra rewrote Qwen weights to boost scores; Meta researcher says it is exaggerated

11 月 2 日，麻省理工学院（MIT）联合团队的一份技术实验在社交网络引爆了近 600 万次围观。

实验设定极具冲击力：不给训练数据，不跑反向传播，只给一个纯 Python 环境，让 OpenAI 的前沿大模型 GPT-6 Astra 直接读取、并重写开源模型 Qwen3.5-0.8B 的底层高维张量。

最终，Astra 仅改动了 8 亿参数中的 0.016%（约 13 万个权重），就让 阿里 Qwen3.5-0.8B 在 MATH-500 数学评测上的准确率从 7.9% 暴涨至 48.1%。报告后半部分，Astra 甚至在没有训练样本的前提下，直接凭空“手写”出能打简化版雅达利游戏、下 9×9 围棋的小型神经网络权重。

博客署名作者之一、斯坦福知名学者 Omar Khattab 随后公开抛出了一句挑衅式的反问：“如果大模型能直接写权重，梯度下降这类传统方法还剩什么位置？”

技术狂欢者将这次突破视为模型“递归式自我改进”的起点，甚至预言数以千万美元计的预训练集群将被“权重编译器”替代；但另一端，Meta、各大开源社区的一线研究员却迅速泼下冷水，直指推文“标题党”。

拥有 15 万粉丝的科技博主 Chubby 等人认为，Astra 展现了高维参数层面的诊断与重构能力，意味着高阶模型可以充当低阶模型的“医生”，是实现自动化自我迭代的基石。在社交平台上，“AI直接编译AI”的叙事迅速俘获了大众眼球。

然而，严谨的代码考古很快引来了反噬。

Meta 核心研究员 Lucas Beyer 直言项目“非常酷，但吹得太过了”。他扒出团队公开的系统提示词指出：实验并非让 Astra 自行探索盲区，人类在提示词中已经给出了极其露骨的定向引导——明确要求 Astra 排查模型是否因陷入死循环而被截断，同时定死了规则，禁止通过“提前终止思考”这种轻量工程手段投机取巧。

研究者 Yunfan Zhang 进一步翻阅了完整的实验日志。他发现，Astra 只是在长篇推理模式（Thinking Process）下做了一组开关对照，识别出是 Qwen 的推理链在打转，随后执行了定向清除。“这个故事的真实版本，”Zhang 讽刺道，“远没有宣传的‘把准确率提高 7 倍’那么戏剧化。”

更有工程师撰写长文直言，用大模型改权重就像去人工反汇编一段已经编译好的二进制程序，“并不具备超人属性”，聪明的算法研究员画几张激活热力图同样能做到。

手术刀还是点金术

事实上，Qwen3.5-0.8B 的数学成绩从 7.9% 飙升至 48.1%，绝非因为它一夜之间学会了高深数学，而是一次精准的“线路排障”：Astra 顺着信号流动看懂了内部逻辑，直接掐掉了导致它无限死循环的那根短路导线。下图展示Astra 在 50 次试跑里逐步改权重，绿线是改后模型在练习题上的正确率，灰线是原模型。

首先，这是一个已被官方明示的已知缺陷。通义千问官方的技术文档中早就提醒过：0.8B 这种极端微型尺寸的模型，如果强行打开思考模式，极容易陷入无休止的自我重复与逻辑死循环，因此官方默认将其关闭。

而在 MIT 的实验环境里，模型的上下文上限被撑到了 32,768 个 token，思考模式被强制开启。结果是灾难性的：原版 Qwen 在做 MATH-500 时，高达 93% 的题目根本不是因为“做错了”，而是把算力全耗死在循环废话里，直到长度耗尽被系统无情截断。

Astra 在多轮调试中完成的操作，本质上是特征消融（Abliteration）：

对比定位： Astra 提取了 Qwen 正常推理与死循环时的内部激活状态，发现模型在深层（第 15 层与第 19 层）存在一个固执的几何方向，不断将信号推向死胡同；

权重投影： Astra 从这两层的输出权重矩阵中各挑选了 64 列，通过线性代数变换强行减去了这个方向；

解除闭锁： 循环方向被消解后，模型原本被锁死在长文本里的推理链条得以顺利结束，中位长度平稳落在约 9,000 个 token。

随后的详尽数据彻底揭穿了“智力提升”的幻觉：在 1,152 道测试题中，改动后多答对的 579 道题里，整整 576 道原本都是因超时截断而得零分的题；而对于原本就能写完的题目，修改权重后的正确率毫无波动。

更致命的反证来自对照组——谷歌的 Gemma 3 270M。Gemma 本身并不存在恶性循环的毛病，它的错题都是实打实的算错数与代数逻辑不通。面对这样一个没有“死循环结构缺陷”的模型，Astra 反复修改参数，其数学成绩始终在 6.8% 到 7.7% 之间挣扎，毫无起色。

从这个角度来看，这根本不是凭空注灵的点金术，只不过是顺手修掉了一个死循环。

就像一段原本写好了计算逻辑的代码，运行到一半却卡在死循环里，直到被系统强制超时杀掉进程。Astra 并没有教给小模型新的解题思路，只是补上了一个正常的退出条件，让算好的结果能成功打印出来。

从零写出大模型？

除了修改 Qwen，另一项更接近「AI 创造 AI」的实验，是让 GPT-6 Astra 从零编写神经网络权重。

团队让 Astra 直接生成权重、击败传统强化学习（PPO）的三个 MinAtar 雅达利游戏（打砖块Breakout、Seaquest 和 Asterix），以及一个 9×9 的围棋网络。

在这个环节中，模型跳过了所有训练集与梯度计算，直接用 Python 代码推演逻辑，再将其“编译”为权重张量。

相比之下，哪怕是最小的语言模型 Qwen3.5-0.8B，参数量也是围棋网络的 540 倍，是游戏网络的 4 万倍。

Astra 能够“手写”这些微型网络，前提是任务规则极其干净、数学映射高度确定。在打砖块游戏中，第一层矩阵算球体落点，第二层矩阵联动挡板位移，逻辑链条严丝合缝；一旦换到规则稍显模糊的游戏，其得分立刻暴跌，被传统强化学习模型反超。

然而，此前已有研究员做过类似尝试：让前沿大模型手写 Transformer 权重去解决排序、求和等算法小任务，模型完成得极好；但只要任务切换到语义充满不确定性的自然语言理解，所谓的“权重生成”就会因评测泄露或维度爆炸而瞬间崩塌。

所以，把规则清晰的小游戏翻译成两万个参数的玩具模型，本质上只是把几行现成的逻辑代码，生硬翻译成了矩阵格式。但这跟直接写出一个通用大模型完全是两码事——人类语言和现实世界的复杂常识，根本无法被穷举成几条明文规则。

“读懂权重”究竟意味着什么

既然不能取代传统训练，为何这篇报告依然值得全行业的高度关注？

因为这项研究撕开了深度学习一个长久以来的盲区：神经网络的高维参数，正在失去它的“不可读性”。

过去数十年，人类对待深度神经网络就像对待一片迷雾重重的黑盒，除了定义损失函数并依赖随机梯度下降（SGD）在黑暗中摸索求导，我们对高维矩阵内部错综复杂的数值分布束手无策。但 MIT 的实验展示了大模型的一种强大的能力：直接读懂权重。

如果通用大模型能够直接读取权重并识别其中的功能结构，未来就有机会进一步用于模型审计、后门检测、能力编辑和局部缺陷修复。一方面是可解释性：不运行模型，就有可能从权重里看懂它在做什么。另一方面是小模型调优：快速低成本的优化模型，或针对特定领域。

MIT 团队也提出了更远的设想，包括不依赖大量数据的能力增删、不同模型之间的功能模块迁移，甚至递归式自我改进。

这些方向目前还没有被实验充分验证，但已经勾勒出一种不同于传统训练的模型研发思路。

本文来自微信公众号 “AI前线”（ID：ai-front），作者：青和、飞野，36氪经授权发布。