AISpot

研究稱神經網路本就可讀,可解釋性前景好於預期

Hacker News front page觀點研究

一項新研究認為,神經網路自身的機制就是可讀的基本單元,此前被視為多義神經元與疊加現象的典型證據屬於誤讀。作者稱 InceptionV1 末層在常規架構改進後 99-100% 的神經元可解釋,模型規模跨 300 倍仍整體可讀;對 Qwen3-32B 的初步審計估計約 90% 神經元只有一項主要職責,約 7% 有兩項相關職責,僅 2-4% 尚未理解。結論是可以直接研究網路本身,不必先訓練稀疏自編碼器來解糾纏。

對疊加與多義神經元的經典結論提出反證:InceptionV1 末層可解釋率升至 99-100%,Qwen3-32B 初步審計約 90% 神經元只有一項職責,為可解釋性研究給出可驗證的新方向。

原標題:Neural Networks Are Already Clean
閱讀原文

評分82 / 82(平均 82,門檻 76)
狀態精選

相關報導

Hacker News front page● 精選AI 評分80

論文證明 AI 模型可加密隱藏任意能力,審計難誘導

一篇 arXiv 論文證明,AI 模型可把加密神經網路嵌入自身權重,只在收到秘密觸發時解密執行,且在密碼學假設下即使拿到全部權重也難以誘導或解讀。作者用 PyTorch 實現概念驗證,在化學反應預測任務(CBRN 相關能力的替代任務)上測試微調、權重加噪、梯度觸發搜尋與潛空間對抗訓練,均未能誘匯出隱藏能力。該文被 NeurIPS 2026 接收,共 22 頁,作者已公開模型以支援防禦研究。

Hacker News front pageAI 評分45

作者撰文反駁沒人懂大語言模型如何工作

有作者撰文反駁“沒人知道大語言模型如何工作”的說法,稱 LLM 是純機械系統。文中拆解一次推理:文字先切成 token 並數值化,經矩陣乘法、注意力、歸一化與非線性變換逐層計算啟用,最終得到下一個 token 的機率分佈並按解碼規則輸出;訓練用損失函式回傳誤差調整引數,日常呼叫不會改動引數。作者強調只要有模型與工具,就能記錄每層啟用、檢查注意力頭與權重、增刪元件觀察變化,Transformer Circuits 與 circuit tracing 等可解釋性研究也在公開推進。

NVIDIA blogAI 評分48

輝達報告:89% 電信運營商重視開源模型

輝達《State of AI in Telecommunications》報告顯示,89% 受訪者認為開源模型與軟體對公司 AI 戰略重要。運營商看重開源模型的可信任、可控與可定製,用於自主網路、客服等關鍵負載,並把閉源模型留給價值最高的場景;輝達同時發布 300 億引數的 Nemotron 3 Large Telco Model(由 AdaptKey 在開源電信資料集上微調),並提供基於 NeMo 的端到端微調流程。

NVIDIA blog● 精選AI 評分87

輝達開源 Nemotron 3.5 Super VL 與兩款 Bolt 邊緣模型

輝達發布 1200 億引數開源模型 Nemotron 3.5 Super VL,主打多模態 agentic 任務,官方稱其準確率接近自家最大推理模型、引數量約為五分之一,吞吐量最高達同類模型 5 倍。同時推出兩款邊緣模型:Bolt 74B-A9B 24GB 採用原生 2-bit 量化,可在 RTX/DGX Spark 的 24GB 記憶體內本地執行 agent,現已可用;Bolt E4B 4GB 面向 GeForce RTX、Jetson 等裝置,10 月 23 日發布。

Hacker News front page● 精選AI 評分82

InnovationEval:前沿模型花數千美元 GPU 仍未復現人類演算法創新

新評測 InnovationEval 顯示,前沿模型無法獨立復現人類研究者近期做出的機器學習演算法創新:在端到端任務中,它們耗費數千美元 GPU 算力,仍未達到人類論文(on-policy self-distillation,SDPO)的水平。測試要求 AI 自主提出一種新的後訓練方法,在短答題與程式碼任務上後訓練 Qwen3-8B,並超過 GRPO 基線。主要結果來自 Claude Fable 5 與 GPT-5.6 Sol;