LLM 可直接讀寫神經網路權重,新論文提出 Weight Space Programming
新論文提出 Weight Space Programming:讓大模型直接讀取並修改另一個較小模型的權重,繞開寫 PyTorch 程式碼、跑實驗、盯 loss 曲線的 autoresearch 流程。演示中模型能讀懂權重、按失敗軌跡一次修好 bug、用約 50 步朝指定方向改進,甚至從零寫出整套權重並超過部分獨立訓練的模型;目前已有獨立復現,但適用範圍仍限於簡單遊戲與 RL 策略。
找到 4 筆;也可以試試 語意搜尋
新論文提出 Weight Space Programming:讓大模型直接讀取並修改另一個較小模型的權重,繞開寫 PyTorch 程式碼、跑實驗、盯 loss 曲線的 autoresearch 流程。演示中模型能讀懂權重、按失敗軌跡一次修好 bug、用約 50 步朝指定方向改進,甚至從零寫出整套權重並超過部分獨立訓練的模型;目前已有獨立復現,但適用範圍仍限於簡單遊戲與 RL 策略。
MIT CSAIL 發現,GPT-6 Astra 能直接用自然語言讀寫神經網路權重,不依賴梯度,也不用寫訓練迴圈。它僅憑 17,253 個原始權重,就以 99% 置信度判斷出網路訓練自哪個遊戲;還能從零寫出小型遊戲網路,其表現超過用 PPO 訓練 1 億步的網路。
MIT 研究者讓 GPT-6 Astra 直接讀取並編輯 Qwen3.5-0.8B 的權重,只改動 0.016% 的引數、不用訓練和梯度下降,MATH-500 得分就從 7.9% 升到 48.1%,約為原來的 6 倍。這套方法被命名為 Weight-Space Programming:Astra 沿著推理迴圈定位到第 15、19 層前饋網路各 64 個輸出列,把回答觸及長度上限的比例從 93.0% 降到 33.1%,順帶把指令執行能力提高約 3 倍。
MIT CSAIL 讓 GPT-6 Astra 直接檢查並修改 Qwen3.5-0.8B 的權重,僅改動約 0.016% 引數,就把 MATH-500 成績從 7.9% 提升到 48.1%,指令遵循能力也提升近兩倍,全程未重新訓練或使用梯度下降。團隊稱這種能力為權重空間程式設計:Astra 還能只憑權重判斷網路訓練過的遊戲、語言或生成圖形,並修復失敗策略。它也能從零編寫網路權重,在部分 MinAtar 遊戲中超過訓練 1 億步的 PPO 模型;實驗仍屬早期,規模與工具呼叫受限。