自注意力可存超百萬條記憶：Transformer 記憶容量解讀
這篇博文把線性層、MLP 和自注意力解釋為不同形式的記憶儲存，並估算容量：在 64 維 key 下，線性層約存 64 條記憶，MLP 約 2700 條，自注意力可超過 100 萬條。它用干擾-訊號比衡量召回品質：儲存越多，鍵之間干擾越大，干擾等於訊號時達到容量；鍵正交時召回才精確。文章還指出梯度下降的一步可視為寫入一條 key 為輸入、value 為負梯度乘學習率的記憶，並配有互動式應用展示召回如何失敗。
以干擾-訊號比推導各層記憶容量，並給出 64 維 key 下從約 64 到 2700 再到超百萬的具體數字，適合想直觀理解 Transformer 與注意力機制的人。
原標題：You could have invented transformers from memory
閱讀原文
| 評分 | 68 / 70（平均 69，門檻 76） |
|---|---|
| 狀態 | 未入選 |
相關報導
Quanta 專欄回顧注意力機制起源與影響
Quanta 雜誌專欄回顧注意力機制的由來與影響：2014 年，Dzmitry Bahdanau 與 Yoshua Bengio、Kyunghyun Cho 為提升英法翻譯提出注意力，讓神經網路處理長句不再受固定記憶瓶頸限制。它讓網路動態判斷源句中哪些詞最影響下一個輸出詞。2017 年 Google 團隊發表《Attention Is All You Need》，提出只靠注意力的 transformer，以更少算力取得當時最佳翻譯，該論文已被引用超過 25 萬次。
港科大等發布首篇自迴歸影片生成 Memory 綜述，110 頁
香港科技大學、香港城市大學、復旦、CMU、NYU、NTU 等機構聯合發布 110 頁綜述《The Past Frames the Future: Memory for Autoregressive Video Generation》，系統梳理自迴歸影片生成中的 Memory 機制。
llama.cpp 將無快取注意力的 KV 維度填充到 256，修復 Flash Attention 回退 CPU
llama.cpp b11576 把無快取注意力路徑的 KV 維度填充到 256，修復了該路徑下 Flash Attention 回退 CPU 的問題。
llama.cpp b11446 修復 Metal 量化 flash attention 執行緒組記憶體超額
llama.cpp 發布 b11446，Metal 後端修復量化 flash attention 中 threadgroup memory 超額佔用的問題，對應 PR #29340。
研究：LLM 用 1866 年電報體壓縮記錄可省近半 token
一份 50 篇材料、約 1300 題的新基準（Telegraph Test，程式碼與資料已開源）顯示，只需一句小寫指令讓模型用 1866 年跨大西洋電纜時代的電報體（cablese）撰寫壓縮記錄，輸出 token 可省 40%–49%，而下游模型讀取這些記錄的準確率不低於明文（恢復比 0.99–1.10）。GLM-5.3-Flash 自身省 48.4%，qwen3.8-27b 省 48.9%，gemma-4-31b 省 40.4%；