- 发布日期
只动 0.016% 参数，数学成绩疯涨
- 作者
- 姓名
- 荷鲁斯快报
- 社交账号
GPT-6 Astra改写权重：Qwen数学成绩从7.9%升至48.1%
MIT CSAIL团队近日展示“权重空间编程”，让GPT-6 Astra直接分析并修改神经网络权重。实验对象是8亿参数的Qwen3.5-0.8B，团队仅修改131072个参数，占0.016%，未使用梯度训练。修改后，MATH-500从7.9%升至48.1%，GSM8K从13.8%升至67.1%。
传统上，提升模型靠提示词或数据微调。权重被视为神经网络中大量可调“旋钮”，训练通过数据调整这些数值，模型知识与行为倾向被编码其中。权重空间编程则尝试直接修改训练完成后的权重。
团队先测试“读”权重。Astra仅凭原始权重就能判断小网络针对哪款游戏优化，也能判断扩散模型生成圆形、方形还是三角形。它还能根据小型语言模型中间层权重判断训练语料属于Python、英文或日文罗马字。
在“写”实验中，团队用PPO训练小车控制网络约10亿步，256局无一成功。Astra收到权重和失败记录后，只修改3.5%权重，加入“先后退蓄力、再全速前进”路径，使成功率升至100%。在三个MinAtar游戏中，Astra从零生成的网络超过训练1亿步的PPO网络。
Qwen实验中，Astra获得可读写权重的Python环境及练习题答案，不能使用梯度或训练。它发现模型大量回答重复推理：最初96个答案中85个生成到32768个token上限仍无答案。Astra将问题定位到部分MLP层写出的特定方向，删除该方向抑制循环。修改后，IFEval从21.0%升至62.3%，MATH-500触及token上限比例从93.0%降至33.1%。
补充实验显示，对很少出现循环的Gemma 3 270M，Astra的修改未带来明确提升，MATH-500仅从6.8%变为7.0%。研究博客称，Astra主要移除了完成回答的障碍，而非注入新数学知识。有网友称已复现并视为“阶跃式能力”，也有质疑认为提分主要来自减少循环；普林斯顿博士生Xingyu Dang报告开源模型读写权重仍困难。
