←新闻详情

Hacker News 热门更新于 11月3日 05:21

LLM 可直接读写神经网络权重:Astra 将 Qwen3.5-0.8B 的…

Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights

AI 导读

Rikiya Takehi 与 Jayden Teoh 等人的博客文章提出 Weight-Space Programming,发现 GPT-6 Astra 等前沿 LLM 能直接读写神经网络权重,无需梯度下降或训练循环。Astra 仅凭原始权重就能识别网络训练所用的游戏、扩散模型生成的形状和语言模型训练语料,还能从零写出在三个 MinAtar 游戏中击败训练 1 亿步 PPO 网络的权重。在 Qwen3.5-0.8B 上,Astra 定位到导致推理循环的权重方向,只改动 0.016% 的权重,就把 MATH-500 从 7.9% 提升到 48.1%、IFEval 从 21.0% 提升到 62.3%;但对很少循环的 Gemma 3 270M 则未能提升数学成绩。

推荐理由

精选AI 评分 82

作者用八个实验展示前沿模型直接读写权重的能力边界,也记录了在 Gemma 上无法提升的反例。

主题

标签

正文

当前公开范围只允许站内摘要。请通过经校验的原文入口继续阅读。

来源

Hacker News 热门