斯坦福大學電腦科學博士、前 Cartesia 研究科學家 Alex Wang 於 10 月 15 日發布部落格《You could have invented transformers from memory》，把線性層、MLP 與自注意力統一解釋為不同形式的聯想記憶儲存器，並從記憶之間的干擾推匯出這些結構，隨後在 Hacker News 與中文社群引發討論。文章用「干擾-訊號比」衡量召回品質：儲存的記憶越多，鍵之間干擾越大，干擾等於訊號時即達到容量，鍵正交時召回才精確；並指出梯度下降的一步可視為寫入一條 key 為輸入、value 為負梯度乘學習率的記憶，還配有互動式應用展示召回如何失敗。容量方面，在 64 維 key 的隨機記憶實驗中，線性層約存 64 條記憶，平方 ReLU 的 GLU 式 MLP 約 2700 條；自注意力一項，Hacker News 頁面摘要稱可超過 100 萬條，機器之心則稱理論容量約 120 萬條。文章還從干擾角度解釋了 Transformer 的 1/√d_k 縮放，以及 Qwen 的 LogN-Scaling、YaRN 等長上下文擴充套件策略。Alex Wang 另發現《Attention Is All You Need》早期 arXiv 版本曾把前饋網路描述為一種特殊 Attention，甚至嘗試用可學習 Key-Value 引數的 Attention 替換前饋層，效果相近，但這段討論後來從論文中消失。容量數字對應理想化的隨機向量記憶任務，不代表真實 Transformer 能記住比 MLP 多兩萬倍的知識。
AI 根據 2 則報導生成 · 更新
沿著報導，了解事件的不同側面；點標題看單篇報導的摘要與原文連結。
斯坦福大學計算機博士 Alex Wang 於 10 月 15 日發布部落格，把線性層、MLP 與自注意力統一解釋為不同形式的聯想記憶儲存器，並從記憶之間的干擾出發推匯出這些結構。在 64 維 Key 的隨機記憶實驗中，線性儲存器容量約 64 條，平方 ReLU 的 GLU 式 MLP 約 2700 條，採用固定縮放係數的自注意力理論容量約 120 萬條；1/√d_k 縮放以及 YaRN 等長上下文擴充套件策略也能從干擾角度得到解釋。
這篇博文把線性層、MLP 和自注意力解釋為不同形式的記憶儲存，並估算容量：在 64 維 key 下，線性層約存 64 條記憶，MLP 約 2700 條，自注意力可超過 100 萬條。它用干擾-訊號比衡量召回品質：儲存越多，鍵之間干擾越大，干擾等於訊號時達到容量；鍵正交時召回才精確。文章還指出梯度下降的一步可視為寫入一條 key 為輸入、value 為負梯度乘學習率的記憶，並配有互動式應用展示召回如何失敗。
過去 48 小時，有 1 個獨立來源報導，最近 6 小時新增 0 個。熱度 0.8，熱門榜第 20 名。
熱度以 48 小時內的獨立來源計，同一來源只算一次，每 24 小時權重減半。
同一事件的報導集中在這裡，新的進展會繼續補充。