復旦團隊系統比較滑窗與線性注意力混合架構，提出 SWLA 免訓練外推
復旦大學與上海創智學院 OpenMOSS 團隊在 376M、776M、1B、3B 四個規模上，系統比較了 RoPE/NoPE 全注意力與滑窗注意力、GLA/GDN 門控線性注意力的混合架構。結論是滑窗混合（SWA-NoPE）長度外推更強但長文續訓偏弱，線性混合（GLA/GDN-NoPE）正好相反，團隊稱之為蹺蹺板效應與沒有免費午餐效應。
系統給出滑窗與線性混合架構的能力邊界（蹺蹺板效應、沒有免費午餐），並提出 SWLA 讓 GLA/GDN 混合在 RULER 上實現 16 倍免訓練外推、準確率 100%，對設計長上下文架構的人有直接參考價值。
原標題：混合架构用线性注意力还是滑窗注意力？复旦创智OpenMOSS团队：我全都要
閱讀原文
| 評分 | 72 / 74（平均 73，門檻 65） |
|---|---|
| 狀態 | 精選 |
相關報導
哈工大 STILL 被 NeurIPS 2026 接收，首個內容感知層內混合注意力
哈爾濱工業大學（深圳）團隊的 STILL 被 NeurIPS 2026 接收，這是首個按內容而非位置在同一注意力層內混合 Softmax 與線性注意力的框架：先用區域性滑窗內的自顯著性分數挑出重要 token 交給 Softmax，其餘交給線性注意力，並用保範數對映 NP-Map 保住預訓練範數結構。它僅用 0.04B token 完成對預訓練 LLM 的線性化，16K 上下文下視訊記憶體削減 80%、預填充加速 83%；
斯坦福博士部落格：從記憶推匯出 MLP 與自注意力
斯坦福大學計算機博士 Alex Wang 於 10 月 15 日發布部落格，把線性層、MLP 與自注意力統一解釋為不同形式的聯想記憶儲存器，並從記憶之間的干擾出發推匯出這些結構。在 64 維 Key 的隨機記憶實驗中，線性儲存器容量約 64 條，平方 ReLU 的 GLU 式 MLP 約 2700 條，採用固定縮放係數的自注意力理論容量約 120 萬條；1/√d_k 縮放以及 YaRN 等長上下文擴充套件策略也能從干擾角度得到解釋。
llama.cpp b11723：Hexagon 快閃記憶體注意力支援長上下文與 SWA 模型
llama.cpp 發布 b11723 建置，Hexagon NPU 後端的 FLASH_ATTN_EXT 得到改進，可支援更長上下文與滑動視窗注意力（SWA）模型（#30731）。同一批改動還包括掩碼塊跳過以減少 DMA 取數、微調 hmx→hvx 切換閾值以提升 gemma-4 表現，以及讓 hmx 門控計入 mdev.count。
llama.cpp 修復 SWA 檢查點失效邏輯
llama.cpp 發布 b11738 版本，服務端修復了滑動視窗注意力（SWA）檢查點的失效邏輯（#30666），並補充了在 n_past 閾值下會失敗的測試用例。本次更新仍照常提供 macOS、Linux、Windows、Android 等各平台建置，涵蓋 CUDA、Vulkan、ROCm、SYCL 與驍龍 NPU 後端。
llama.cpp CUDA 融合 MoE 門控與 GLU，加速 MMQ 推理
llama.cpp 發布 b11962 建置，在 CUDA 的 MMQ 路徑中把 MoE（MUL_MAT_ID）的 gate/up 投影與 GLU 融合成一個運算元，減少中間結果的視訊記憶體讀寫與運算元呼叫開銷。