LLM 可直接讀寫神經網路權重,新論文提出 Weight Space Programming
新論文提出 Weight Space Programming:讓大模型直接讀取並修改另一個較小模型的權重,繞開寫 PyTorch 程式碼、跑實驗、盯 loss 曲線的 autoresearch 流程。演示中模型能讀懂權重、按失敗軌跡一次修好 bug、用約 50 步朝指定方向改進,甚至從零寫出整套權重並超過部分獨立訓練的模型;目前已有獨立復現,但適用範圍仍限於簡單遊戲與 RL 策略。
依意思最接近的 10 筆
新論文提出 Weight Space Programming:讓大模型直接讀取並修改另一個較小模型的權重,繞開寫 PyTorch 程式碼、跑實驗、盯 loss 曲線的 autoresearch 流程。演示中模型能讀懂權重、按失敗軌跡一次修好 bug、用約 50 步朝指定方向改進,甚至從零寫出整套權重並超過部分獨立訓練的模型;目前已有獨立復現,但適用範圍仍限於簡單遊戲與 RL 策略。
MIT CSAIL 讓 GPT-6 Astra 直接檢查並修改 Qwen3.5-0.8B 的權重,僅改動約 0.016% 引數,就把 MATH-500 成績從 7.9% 提升到 48.1%,指令遵循能力也提升近兩倍,全程未重新訓練或使用梯度下降。團隊稱這種能力為權重空間程式設計:Astra 還能只憑權重判斷網路訓練過的遊戲、語言或生成圖形,並修復失敗策略。它也能從零編寫網路權重,在部分 MinAtar 遊戲中超過訓練 1 億步的 PPO 模型;實驗仍屬早期,規模與工具呼叫受限。
MIT 研究者讓 GPT-6 Astra 直接讀取並編輯 Qwen3.5-0.8B 的權重,只改動 0.016% 的引數、不用訓練和梯度下降,MATH-500 得分就從 7.9% 升到 48.1%,約為原來的 6 倍。這套方法被命名為 Weight-Space Programming:Astra 沿著推理迴圈定位到第 15、19 層前饋網路各 64 個輸出列,把回答觸及長度上限的比例從 93.0% 降到 33.1%,順帶把指令執行能力提高約 3 倍。
MIT CSAIL 團隊報告了早期實驗:GPT-6 Astra 能在不編寫訓練迴圈的情況下解讀並修改神經網路權重。在一項 Qwen 測試中,作者稱小幅改動權重就讓數學與指令遵循得分明顯提升,但結果仍屬初步。同一份資料裡,Andrej Karpathy 用 AI 程式設計工具做出影片庫 HackerTube,收錄 HN 讀者近二十年提到的 6,454 個 YouTube 影片,無帳號、自帶推薦。
IBM CEO Arvind Krishna 在第三季度財報電話會上稱,開源權重模型現已能用前沿模型 10%–25% 的 token 成本實現約 90% 的效果。他回顧差距從 2024 年的 70 分對 20–30 分,縮小到 2025 年底的 70 分對 50 分,認為企業大多數任務(總結郵件、審查合同、客服應答)用便宜模型就夠。由此 IBM 看到本地部署 AI 需求升溫,稱兩三機架即可搭建,但企業缺核心、網路與 GPU 叢集調優人才;
MIT CSAIL 發現,GPT-6 Astra 能直接用自然語言讀寫神經網路權重,不依賴梯度,也不用寫訓練迴圈。它僅憑 17,253 個原始權重,就以 99% 置信度判斷出網路訓練自哪個遊戲;還能從零寫出小型遊戲網路,其表現超過用 PPO 訓練 1 億步的網路。
Meta 發布開源權重模型 Muse Spark Open,擁有 8160 億引數和 100 萬 token 上下文視窗,原生多模態,面向複雜編碼與 agent 任務,並針對 Mac 本地執行設計。本地部署門檻不低,至少需要 1TB 記憶體,Meta 稱在搭載 M5 Ultra 晶片的 Mac Studio 上表現最佳。
有分析拆解「Astra 能讀寫權重來改進 Qwen」一帖,指出其頭條結論並非「僅靠讀取原始權重」。Qwen3.5-0.8B 數學實驗實際用 Python 分析並修改權重,還讓模型跑了最多 50 批練習題;原生編輯 0.016% 權重後 MATH-500 從 7.9% 升至 48.1%,IFEval 提升 3 倍。真正只讀原始權重的只有 17K–172K 引數的小網路實驗,同類方法在 Gemma 3 270M 上失敗。
10 月 16 日,範式智慧聯合睿思智聯發布一站式生產級 AI 部署平台模域(ModelSphere),面向企業免費開源,以 Apache 2.0 協議在 GitHub 上線。平台把算力管理、模型部署與執行最佳化整合為統一流程,可統一混合排程華為昇騰、天數智芯、摩爾線程、海光 DCU 等國產晶片,無需為不同晶片重寫底層程式碼。
美國初創公司 Reflection AI 發布首個前沿開源權重模型 Beam,稱其在高階推理基準上以更低推理成本對標中國領先開源模型。Beam 是純文字混合專家模型,總引數 5010 億、啟用 230 億,預訓練用了 23.8 萬億 token,上下文視窗 100 萬 token;對比 Z.ai 的 GLM-5.2 總引數約 7440 億、啟用 400 億。