LLM 可直接讀寫神經網路權重,新論文提出 Weight Space Programming
新論文提出 Weight Space Programming:讓大模型直接讀取並修改另一個較小模型的權重,繞開寫 PyTorch 程式碼、跑實驗、盯 loss 曲線的 autoresearch 流程。演示中模型能讀懂權重、按失敗軌跡一次修好 bug、用約 50 步朝指定方向改進,甚至從零寫出整套權重並超過部分獨立訓練的模型;目前已有獨立復現,但適用範圍仍限於簡單遊戲與 RL 策略。
依意思最接近的 9 筆
新論文提出 Weight Space Programming:讓大模型直接讀取並修改另一個較小模型的權重,繞開寫 PyTorch 程式碼、跑實驗、盯 loss 曲線的 autoresearch 流程。演示中模型能讀懂權重、按失敗軌跡一次修好 bug、用約 50 步朝指定方向改進,甚至從零寫出整套權重並超過部分獨立訓練的模型;目前已有獨立復現,但適用範圍仍限於簡單遊戲與 RL 策略。
MIT CSAIL 讓 GPT-6 Astra 直接檢查並修改 Qwen3.5-0.8B 的權重,僅改動約 0.016% 引數,就把 MATH-500 成績從 7.9% 提升到 48.1%,指令遵循能力也提升近兩倍,全程未重新訓練或使用梯度下降。團隊稱這種能力為權重空間程式設計:Astra 還能只憑權重判斷網路訓練過的遊戲、語言或生成圖形,並修復失敗策略。它也能從零編寫網路權重,在部分 MinAtar 遊戲中超過訓練 1 億步的 PPO 模型;實驗仍屬早期,規模與工具呼叫受限。
MIT 研究者讓 GPT-6 Astra 直接讀取並編輯 Qwen3.5-0.8B 的權重,只改動 0.016% 的引數、不用訓練和梯度下降,MATH-500 得分就從 7.9% 升到 48.1%,約為原來的 6 倍。這套方法被命名為 Weight-Space Programming:Astra 沿著推理迴圈定位到第 15、19 層前饋網路各 64 個輸出列,把回答觸及長度上限的比例從 93.0% 降到 33.1%,順帶把指令執行能力提高約 3 倍。
MIT CSAIL 團隊報告了早期實驗:GPT-6 Astra 能在不編寫訓練迴圈的情況下解讀並修改神經網路權重。在一項 Qwen 測試中,作者稱小幅改動權重就讓數學與指令遵循得分明顯提升,但結果仍屬初步。同一份資料裡,Andrej Karpathy 用 AI 程式設計工具做出影片庫 HackerTube,收錄 HN 讀者近二十年提到的 6,454 個 YouTube 影片,無帳號、自帶推薦。
MIT CSAIL 發現,GPT-6 Astra 能直接用自然語言讀寫神經網路權重,不依賴梯度,也不用寫訓練迴圈。它僅憑 17,253 個原始權重,就以 99% 置信度判斷出網路訓練自哪個遊戲;還能從零寫出小型遊戲網路,其表現超過用 PPO 訓練 1 億步的網路。
IBM CEO Arvind Krishna 在第三季度財報電話會上稱,開源權重模型現已能用前沿模型 10%–25% 的 token 成本實現約 90% 的效果。他回顧差距從 2024 年的 70 分對 20–30 分,縮小到 2025 年底的 70 分對 50 分,認為企業大多數任務(總結郵件、審查合同、客服應答)用便宜模型就夠。由此 IBM 看到本地部署 AI 需求升溫,稱兩三機架即可搭建,但企業缺核心、網路與 GPU 叢集調優人才;
開發者把 NES 的 6502 CPU(2A03 核心)、2KB 工作記憶體和卡帶程式 ROM 編譯進一個標準 Qwen3.5 檢查點,權重約 1GB,全部由編譯器計算而非訓練得到。執行時模型逐 token 預測 CPU 執行日誌,畫面渲染、手柄輸入和 vblank 中斷由宿主程式負責;該專案沿用 Qwenputer 的編譯器,以及其「Gated DeltaNet 狀態即機器記憶體」的做法。
Ai2 把原先基於優先順序的 GPU 排程器換成了由 GPU 時間預算、層級化公平分配和時間切片契約組成的新系統。它管理數千塊 NVIDIA H100、B200、B300,叢集規模從 88 到 1024 塊 GPU,服務約 150 名內部研究者,GPU 需求長期是供給的 2 到 3 倍。舊方案導致 GPU 蹲坑佔位、優先順序通脹(最終 100% 工作負載都標為 HIGH)以及值班工程師大量時間用於協商關閉不可搶佔任務。
無問芯穹的 GPU 運算元最佳化 Agent 框架在 NVIDIA Research 的 SOL-ExecBench 上登頂 L1 基礎運算元、L2 融合運算元、Quant 量化與 FlashInfer-Bench 推理四大賽道;在全部 235 道題中拿下 88 項單題第一,超過第二名單題第一數量的 2 倍。該系統把工作區、除錯區和評測區徹底隔離,評測容器停用網路,並用 Skills、共享記憶與統一 GPU 排程讓 Agent 完成程式碼生成、評測驗證、效能分析和策略調整的閉環。