MIT CSAIL 稱 GPT-6 Astra 可直接編輯神經網路權重
MIT CSAIL 團隊報告了早期實驗:GPT-6 Astra 能在不編寫訓練迴圈的情況下解讀並修改神經網路權重。在一項 Qwen 測試中,作者稱小幅改動權重就讓數學與指令遵循得分明顯提升,但結果仍屬初步。同一份資料裡,Andrej Karpathy 用 AI 程式設計工具做出影片庫 HackerTube,收錄 HN 讀者近二十年提到的 6,454 個 YouTube 影片,無帳號、自帶推薦。
找到 6 筆
MIT CSAIL 團隊報告了早期實驗:GPT-6 Astra 能在不編寫訓練迴圈的情況下解讀並修改神經網路權重。在一項 Qwen 測試中,作者稱小幅改動權重就讓數學與指令遵循得分明顯提升,但結果仍屬初步。同一份資料裡,Andrej Karpathy 用 AI 程式設計工具做出影片庫 HackerTube,收錄 HN 讀者近二十年提到的 6,454 個 YouTube 影片,無帳號、自帶推薦。
新論文提出 Weight Space Programming:讓大模型直接讀取並修改另一個較小模型的權重,繞開寫 PyTorch 程式碼、跑實驗、盯 loss 曲線的 autoresearch 流程。演示中模型能讀懂權重、按失敗軌跡一次修好 bug、用約 50 步朝指定方向改進,甚至從零寫出整套權重並超過部分獨立訓練的模型;目前已有獨立復現,但適用範圍仍限於簡單遊戲與 RL 策略。
多項獨立復現顯示,前沿大模型能直接生成或改寫小型神經網路的權重,無需梯度訓練或外部工具。GPT-6 Astra 在不做反向傳播的情況下改寫了 Qwen3.5-0.8B 的 131,072 個權重,MATH-500 從 7.9% 升到 48.1%;知乎的復現則指出多數被修復的答案原本卡在 32K token 迴圈上限,held-out 準確率從 10.6% 升到 60.4%,批評者認為該結果缺少有力基線。
78 歲的費城退休教授 Carolyn Marvin 因站在人行道上阻擋 Uber Eats 配送機器人,被戴上手銬並收到擾亂治安傳票。自 3 月 Uber Eats 在費城投放機器人車隊以來,她多次在機器人前停留 10 到 15 分鐘使其延遲,自稱以此抗議機器人取代低收入配送員、佔用人行道並帶來隱私問題。賓州 2020 年立法將這類「個人配送裝置」歸類為行人、而非車輛,警方稱到場後多次命令她離開,她拒絕配合。她表示獲釋後還會繼續阻擋,只是會留意警察。
MIT CSAIL 發現,GPT-6 Astra 能直接用自然語言讀寫神經網路權重,不依賴梯度,也不用寫訓練迴圈。它僅憑 17,253 個原始權重,就以 99% 置信度判斷出網路訓練自哪個遊戲;還能從零寫出小型遊戲網路,其表現超過用 PPO 訓練 1 億步的網路。
MIT CSAIL 讓 GPT-6 Astra 直接檢查並修改 Qwen3.5-0.8B 的權重,僅改動約 0.016% 引數,就把 MATH-500 成績從 7.9% 提升到 48.1%,指令遵循能力也提升近兩倍,全程未重新訓練或使用梯度下降。團隊稱這種能力為權重空間程式設計:Astra 還能只憑權重判斷網路訓練過的遊戲、語言或生成圖形,並修復失敗策略。它也能從零編寫網路權重,在部分 MinAtar 遊戲中超過訓練 1 億步的 PPO 模型;實驗仍屬早期,規模與工具呼叫受限。