LLM 可直接讀寫神經網路權重,新論文提出 Weight Space Programming
新論文提出 Weight Space Programming:讓大模型直接讀取並修改另一個較小模型的權重,繞開寫 PyTorch 程式碼、跑實驗、盯 loss 曲線的 autoresearch 流程。演示中模型能讀懂權重、按失敗軌跡一次修好 bug、用約 50 步朝指定方向改進,甚至從零寫出整套權重並超過部分獨立訓練的模型;目前已有獨立復現,但適用範圍仍限於簡單遊戲與 RL 策略。
依意思最接近的 13 筆
新論文提出 Weight Space Programming:讓大模型直接讀取並修改另一個較小模型的權重,繞開寫 PyTorch 程式碼、跑實驗、盯 loss 曲線的 autoresearch 流程。演示中模型能讀懂權重、按失敗軌跡一次修好 bug、用約 50 步朝指定方向改進,甚至從零寫出整套權重並超過部分獨立訓練的模型;目前已有獨立復現,但適用範圍仍限於簡單遊戲與 RL 策略。
MIT CSAIL 讓 GPT-6 Astra 直接檢查並修改 Qwen3.5-0.8B 的權重,僅改動約 0.016% 引數,就把 MATH-500 成績從 7.9% 提升到 48.1%,指令遵循能力也提升近兩倍,全程未重新訓練或使用梯度下降。團隊稱這種能力為權重空間程式設計:Astra 還能只憑權重判斷網路訓練過的遊戲、語言或生成圖形,並修復失敗策略。它也能從零編寫網路權重,在部分 MinAtar 遊戲中超過訓練 1 億步的 PPO 模型;實驗仍屬早期,規模與工具呼叫受限。
MIT CSAIL 團隊報告了早期實驗:GPT-6 Astra 能在不編寫訓練迴圈的情況下解讀並修改神經網路權重。在一項 Qwen 測試中,作者稱小幅改動權重就讓數學與指令遵循得分明顯提升,但結果仍屬初步。同一份資料裡,Andrej Karpathy 用 AI 程式設計工具做出影片庫 HackerTube,收錄 HN 讀者近二十年提到的 6,454 個 YouTube 影片,無帳號、自帶推薦。
MIT 研究者讓 GPT-6 Astra 直接讀取並編輯 Qwen3.5-0.8B 的權重,只改動 0.016% 的引數、不用訓練和梯度下降,MATH-500 得分就從 7.9% 升到 48.1%,約為原來的 6 倍。這套方法被命名為 Weight-Space Programming:Astra 沿著推理迴圈定位到第 15、19 層前饋網路各 64 個輸出列,把回答觸及長度上限的比例從 93.0% 降到 33.1%,順帶把指令執行能力提高約 3 倍。
MIT CSAIL 發現,GPT-6 Astra 能直接用自然語言讀寫神經網路權重,不依賴梯度,也不用寫訓練迴圈。它僅憑 17,253 個原始權重,就以 99% 置信度判斷出網路訓練自哪個遊戲;還能從零寫出小型遊戲網路,其表現超過用 PPO 訓練 1 億步的網路。
IBM CEO Arvind Krishna 在第三季度財報電話會上稱,開源權重模型現已能用前沿模型 10%–25% 的 token 成本實現約 90% 的效果。他回顧差距從 2024 年的 70 分對 20–30 分,縮小到 2025 年底的 70 分對 50 分,認為企業大多數任務(總結郵件、審查合同、客服應答)用便宜模型就夠。由此 IBM 看到本地部署 AI 需求升溫,稱兩三機架即可搭建,但企業缺核心、網路與 GPU 叢集調優人才;
Carson Gross 認為,即便 AI 工具已經出現,程式設計仍會是一門可行的職業。他把程式設計歸結為兩件事:用計算機解決問題,以及在解決問題的過程中學習控制複雜度;在他看來,很難想像未來懂得用計算機解決問題、並控制這些方案的複雜度會比今天更不值錢。這番話發布於 2026 年 10 月 8 日,標籤涵蓋電腦科學、職業與 AI。
SpaceX 第三季度 AI 業務營收 75 億美元,佔公司總收入 52%,並實現 4.31 億美元利潤。該業績來自改名為 Super Intelligence 的業務線,含收購的 Cursor 程式設計工具、Grok 機器人與算力達 1.7 GW 的 neocloud 業務;若不計 Cursor 收購帶來的 12 億美元一次性股權激勵費用,利潤會更高。
Meta 發布開源權重模型 Muse Spark Open,擁有 8160 億引數和 100 萬 token 上下文視窗,原生多模態,面向複雜編碼與 agent 任務,並針對 Mac 本地執行設計。本地部署門檻不低,至少需要 1TB 記憶體,Meta 稱在搭載 M5 Ultra 晶片的 Mac Studio 上表現最佳。
馬斯克表示,SpaceX 曾嘗試從 AWS、GCP 或任何其他供應商租用推理算力,目的是把負載從自家訓練叢集上分流出去。他稱此前流傳的那段對話正是 SpaceX 在這些洽談中經歷的情形,但未披露涉及的具體供應商、算力規模、報價與時間。該表態發布於 2026 年 10 月 19 日。
SpaceX 與 Anthropic 的算力協議包含超 300 兆瓦新容量和 22 萬塊輝達 GPU,並提高 Claude Code 與 API 的使用額度;SpaceX 8 月首份財報顯示季度 AI 業務收入 25.61 億美元,同比增長 247%。算力緊張正在重塑矽谷關係,Google 2024 年花 27 億美元請回的 Gemini 聯合負責人 Noam Shazeer 因團隊算力被重新分配轉投 OpenAI。
10 月 16 日,範式智慧聯合睿思智聯發布一站式生產級 AI 部署平台模域(ModelSphere),面向企業免費開源,以 Apache 2.0 協議在 GitHub 上線。平台把算力管理、模型部署與執行最佳化整合為統一流程,可統一混合排程華為昇騰、天數智芯、摩爾線程、海光 DCU 等國產晶片,無需為不同晶片重寫底層程式碼。
網站託管與建站公司 Squarespace 宣布重組,全球員工裁減約 19%,涉及約 300 人。官方稱此舉意在簡化運營、聚焦重點,以便在下一階段增長中行動更快。生成式 AI 帶動的 vibe-coding 建站工具正在重塑行業:Wix 去年以 8000 萬美元收購 Base44,Lovable 8 月完成 4 億美元 C 輪、估值 133 億美元,Google 也推出介面生成功能 Stitch。