arXiv 論文提出無注意力架構 Causal Grassmann 層
一篇 arXiv 論文提出不依賴自注意力的 Causal Grassmann 層：先用 Plücker 座標把區域性詞對編碼為 Grassmann 流形上的二維子空間，再門控融合回隱藏狀態。在 Wikitext-2 上，1300 萬至 1800 萬引數的純 Grassmann 模型驗證困惑度與同規模 Transformer 相差約 10% 至 15%；
它給出一個完全不用注意力矩陣、計算落在有限維流形上的架構，並在 Wikitext-2 與 SNLI 上給出與同規模 Transformer 對比的具體數字，對關注模型結構與可解釋性的研究者有參考價值。
原標題：Attention Is Not What You Need
閱讀原文
| 評分 | 48 / 60（平均 54，門檻 76） |
|---|---|
| 狀態 | 未入選 |
相關報導
斯坦福博士部落格：從記憶推匯出 MLP 與自注意力
斯坦福大學計算機博士 Alex Wang 於 10 月 15 日發布部落格，把線性層、MLP 與自注意力統一解釋為不同形式的聯想記憶儲存器，並從記憶之間的干擾出發推匯出這些結構。在 64 維 Key 的隨機記憶實驗中，線性儲存器容量約 64 條，平方 ReLU 的 GLU 式 MLP 約 2700 條，採用固定縮放係數的自注意力理論容量約 120 萬條；1/√d_k 縮放以及 YaRN 等長上下文擴充套件策略也能從干擾角度得到解釋。
哈工大 STILL 被 NeurIPS 2026 接收，首個內容感知層內混合注意力
哈爾濱工業大學（深圳）團隊的 STILL 被 NeurIPS 2026 接收，這是首個按內容而非位置在同一注意力層內混合 Softmax 與線性注意力的框架：先用區域性滑窗內的自顯著性分數挑出重要 token 交給 Softmax，其餘交給線性注意力，並用保範數對映 NP-Map 保住預訓練範數結構。它僅用 0.04B token 完成對預訓練 LLM 的線性化，16K 上下文下視訊記憶體削減 80%、預填充加速 83%；
Quanta 專欄回顧注意力機制起源與影響
Quanta 雜誌專欄回顧注意力機制的由來與影響：2014 年，Dzmitry Bahdanau 與 Yoshua Bengio、Kyunghyun Cho 為提升英法翻譯提出注意力，讓神經網路處理長句不再受固定記憶瓶頸限制。它讓網路動態判斷源句中哪些詞最影響下一個輸出詞。2017 年 Google 團隊發表《Attention Is All You Need》，提出只靠注意力的 transformer，以更少算力取得當時最佳翻譯，該論文已被引用超過 25 萬次。
復旦團隊系統比較滑窗與線性注意力混合架構，提出 SWLA 免訓練外推
復旦大學與上海創智學院 OpenMOSS 團隊在 376M、776M、1B、3B 四個規模上，系統比較了 RoPE/NoPE 全注意力與滑窗注意力、GLA/GDN 門控線性注意力的混合架構。結論是滑窗混合（SWA-NoPE）長度外推更強但長文續訓偏弱，線性混合（GLA/GDN-NoPE）正好相反，團隊稱之為蹺蹺板效應與沒有免費午餐效應。
llama.cpp b11723：Hexagon 快閃記憶體注意力支援長上下文與 SWA 模型
llama.cpp 發布 b11723 建置，Hexagon NPU 後端的 FLASH_ATTN_EXT 得到改進，可支援更長上下文與滑動視窗注意力（SWA）模型（#30731）。同一批改動還包括掩碼塊跳過以減少 DMA 取數、微調 hmx→hvx 切換閾值以提升 gemma-4 表現，以及讓 hmx 門控計入 mdev.count。