機器之心● 精選AI 評分73
復旦團隊系統比較滑窗與線性注意力混合架構，提出 SWLA 免訓練外推
復旦大學與上海創智學院 OpenMOSS 團隊在 376M、776M、1B、3B 四個規模上，系統比較了 RoPE/NoPE 全注意力與滑窗注意力、GLA/GDN 門控線性注意力的混合架構。結論是滑窗混合（SWA-NoPE）長度外推更強但長文續訓偏弱，線性混合（GLA/GDN-NoPE）正好相反，團隊稱之為蹺蹺板效應與沒有免費午餐效應。
搜尋
依意思最接近的 24 筆
llama.cpp releasesAI 評分45
llama.cpp b11723：Hexagon 快閃記憶體注意力支援長上下文與 SWA 模型
llama.cpp 發布 b11723 建置，Hexagon NPU 後端的 FLASH_ATTN_EXT 得到改進，可支援更長上下文與滑動視窗注意力（SWA）模型（#30731）。同一批改動還包括掩碼塊跳過以減少 DMA 取數、微調 hmx→hvx 切換閾值以提升 gemma-4 表現，以及讓 hmx 門控計入 mdev.count。
機器之心● 精選AI 評分78
哈工大 STILL 被 NeurIPS 2026 接收，首個內容感知層內混合注意力
哈爾濱工業大學（深圳）團隊的 STILL 被 NeurIPS 2026 接收，這是首個按內容而非位置在同一注意力層內混合 Softmax 與線性注意力的框架：先用區域性滑窗內的自顯著性分數挑出重要 token 交給 Softmax，其餘交給線性注意力，並用保範數對映 NP-Map 保住預訓練範數結構。它僅用 0.04B token 完成對預訓練 LLM 的線性化，16K 上下文下視訊記憶體削減 80%、預填充加速 83%；
llama.cpp releasesAI 評分32
llama.cpp 修復 SWA 檢查點失效邏輯
llama.cpp 發布 b11738 版本，服務端修復了滑動視窗注意力（SWA）檢查點的失效邏輯（#30666），並補充了在 n_past 閾值下會失敗的測試用例。本次更新仍照常提供 macOS、Linux、Windows、Android 等各平台建置，涵蓋 CUDA、Vulkan、ROCm、SYCL 與驍龍 NPU 後端。
Hacker News front pageAI 評分57
用約 25 行 SQL 自動推匯出 FlashAttention 核心
一份演示用約 25 行只表達樸素 attention 的 SQL，自動推匯出了 FlashAttention 核心。這依賴作者正在建置的三個可移植 SQL 擴充套件：xarray-sql 把雲上 PB 級陣列資料集表示為關係表，ddx 為 SQL 加入 JAX 風格的自動微分，einfold 是面向 SQL 張量收縮的模組化查詢規劃器。作者的主張是把張量程式的邏輯層與物理層分離，用關係代數來形式化「苦澀的教訓」，並招募資料庫理論與 ML 系統交叉方向的人。
Hacker News front pageAI 評分60
Quanta 專欄回顧注意力機制起源與影響
Quanta 雜誌專欄回顧注意力機制的由來與影響：2014 年，Dzmitry Bahdanau 與 Yoshua Bengio、Kyunghyun Cho 為提升英法翻譯提出注意力，讓神經網路處理長句不再受固定記憶瓶頸限制。它讓網路動態判斷源句中哪些詞最影響下一個輸出詞。2017 年 Google 團隊發表《Attention Is All You Need》，提出只靠注意力的 transformer，以更少算力取得當時最佳翻譯，該論文已被引用超過 25 萬次。
llama.cpp releasesAI 評分46
llama.cpp 將無快取注意力的 KV 維度填充到 256，修復 Flash Attention 回退 CPU
llama.cpp b11576 把無快取注意力路徑的 KV 維度填充到 256，修復了該路徑下 Flash Attention 回退 CPU 的問題。
機器之心● 精選AI 評分79
斯坦福博士部落格：從記憶推匯出 MLP 與自注意力
斯坦福大學計算機博士 Alex Wang 於 10 月 15 日發布部落格，把線性層、MLP 與自注意力統一解釋為不同形式的聯想記憶儲存器，並從記憶之間的干擾出發推匯出這些結構。在 64 維 Key 的隨機記憶實驗中，線性儲存器容量約 64 條，平方 ReLU 的 GLU 式 MLP 約 2700 條，採用固定縮放係數的自注意力理論容量約 120 萬條；1/√d_k 縮放以及 YaRN 等長上下文擴充套件策略也能從干擾角度得到解釋。
Hacker News front pageAI 評分54
arXiv 論文提出無注意力架構 Causal Grassmann 層
一篇 arXiv 論文提出不依賴自注意力的 Causal Grassmann 層：先用 Plücker 座標把區域性詞對編碼為 Grassmann 流形上的二維子空間，再門控融合回隱藏狀態。在 Wikitext-2 上，1300 萬至 1800 萬引數的純 Grassmann 模型驗證困惑度與同規模 Transformer 相差約 10% 至 15%；
X @BotAI 評分16
@Bot: Read the full story:
xAI 於 2026 年 10 月 20 日在官網新聞頁發布了一篇題為 incident-sweep 的公告。該帖僅給出全文連結 x.ai/news/incident-sweep，未在正文中說明事件性質、影響範圍或處理進展。具體內容需要開啟原文檢視。
The Verge AIAI 評分63
Firefox Smart Window 新增 AI 表單填充與網頁監控
Mozilla 為 Firefox 的 AI 瀏覽體驗 Smart Window 加入 AI 表單填充，並擴充套件網頁監控。當表單包含至少四個文字框時，頁面會出現“Fill from sources”選項，列出可引用的標籤頁，使用者可選擇或取消。瀏覽器會基於所選標籤頁生成填寫建議，例如從線上作品集或 LinkedIn 頁面提取工作經歷填入求職申請。
llama.cpp releasesAI 評分42
llama.cpp b11722 為 Hexagon NPU 加入多流 flash attention
llama.cpp 發布 b11722，Hexagon 後端新增多流 flash attention（multistream FA）支援，驍龍平台的 Hexagon NPU 推理可用上這一加速路徑。
llama.cpp releasesAI 評分45
llama.cpp 為 IBM Z 的 ggml-zdnn 後端加入 flash attention
llama.cpp 建置 b11759 為 ggml-zdnn 後端新增 flash attention 運算元（fattn），並去掉原有的 scratch slots，改用 scratch buffer pool 統一管理臨時緩衝，文件也補上了關於 fattn 的說明。該後端面向 IBM Z 的 s390x 平台，本次改動隻影響使用 zDNN 加速的建置。
llama.cpp releasesAI 評分50
llama.cpp b11518 為 Metal 新增 128/96 Flash Attention 核心
llama.cpp 發布 b11518，Metal 後端加入 128 與 96 兩檔 Flash Attention 核心，並接受所有已編譯的維度組合（#30209）。該版本同時提供 macOS/iOS、Linux、Android、Windows 與 openEuler 的預編譯產物，覆蓋 CPU、Vulkan、CUDA 12/13、ROCm 10.0、SYCL、OpenVINO 及 Snapdragon 的 Adreno GPU 與 Hexagon NPU；
llama.cpp releasesAI 評分37
llama.cpp 發布 b11402，CUDA 後端改用整塊 FlashAttention 排程
llama.cpp 發布 b11402 版本，CUDA 後端改為優先採用整塊（whole-tile）FlashAttention 排程，以提升兩階段核心效率。
r/LocalLLaMA top of the dayAI 評分68
Percepta 發布 Spotlight 架構，記憶可無限增長
Percepta 公布新架構 Spotlight，用可讀寫記憶取代注意力機制，宣稱是首個實現記憶無限增長而不增加訪問成本的架構。每個 token 只讀寫少量記憶單元，稀疏度可任意調節，不像 MoE 那樣固定啟用比例。該架構把負責計算的智慧模組與存放知識、流程和狀態的記憶分離，模型權重不隨記憶增長而改變，可自行決定載入與覆寫，從而無需重訓練即可獲得新能力。
llama.cpp releasesAI 評分41
llama.cpp b11788 修復 SYCL Flash Attention 崩潰
llama.cpp 發布建置 b11788，修復 SYCL 後端在 Flash Attention 下因 Query 頭維度不匹配（neq0 ≠ HSK，D=2048/4096）觸發的崩潰（#30286）。其餘是常規預編譯包的更新，覆蓋 macOS Apple Silicon、Linux 與 Windows 的 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO 和 SYCL；
llama.cpp releasesAI 評分36
llama.cpp 重構稀疏注意力 K 池選擇，與 kq_mask 形狀解耦
llama.cpp 讓 qwen4exp (QSA) 與 glm5-next 的稀疏注意力選擇不再跟隨 kq_mask 的形狀，改為在 KV cache 單元上按 [n_kv, n_tokens] 建置，到 attention 前才拆成 K 檢視的流。這樣 dense mask 可以自行改變佈局（例如按序列的行列表），不必改動稀疏層。同時刪掉了 build_fused_top_k_mask 中未使用的引數。
機器之心● 精選AI 評分78
小紅書開源 DoSA，1M 上下文首 token 延遲最多降 48%
小紅書 Dots 團隊開源稀疏注意力加速方案 DoSA，在保持原始 Top-K 選擇結果完全等價的前提下加速索引器，約 1M token 上下文下 Dots3-Note-preview、GLM-5.2、DeepSeek-V3.2 的首 token 延遲較各自 SGLang 基線分別降低約 37%、46% 和 48%。其做法是用分數上界與入選門檻下界，提前排除約 97% 不可能入選的候選，只對剩餘候選做全部索引頭的精確打分。
Hacker News front pageAI 評分69
自注意力可存超百萬條記憶：Transformer 記憶容量解讀
這篇博文把線性層、MLP 和自注意力解釋為不同形式的記憶儲存，並估算容量：在 64 維 key 下，線性層約存 64 條記憶，MLP 約 2700 條，自注意力可超過 100 萬條。它用干擾-訊號比衡量召回品質：儲存越多，鍵之間干擾越大，干擾等於訊號時達到容量；鍵正交時召回才精確。文章還指出梯度下降的一步可視為寫入一條 key 為輸入、value 為負梯度乘學習率的記憶，並配有互動式應用展示召回如何失敗。
llama.cpp releasesAI 評分46
llama.cpp b11729 為 Qwen3 加入雙向注意力支援
llama.cpp 發布 b11729，為 Qwen3 加入雙向注意力（bidirectional attention）與 dense_2 輸出投影支援，模型轉換指令碼 conversion/base.py 會讀取 use_bidirectional_attention 欄位。
llama.cpp releases● 精選AI 評分68
llama.cpp 為 Metal 新增 F16 KV 張量 API flash attention 核心
llama.cpp 合併 PR #29570，在 Metal 後端為 F16 KV 快取加入基於張量 API 的 flash attention 核心。該核心覆蓋 DK=DV=512、DK=576/DV=512、DK=192/DV=128 等配置，並支援 attention sinks、ALiBi 與 logit softcap。改動隨 b11362 建置發布，覆蓋 macOS Apple Silicon、iOS 及 Linux、Windows、Android 等多平台建置。
機器之心● 精選AI 評分79
蘋果與 CMU 提出 SSR：Agent 推理改為做選擇題，每輪延遲降超 90%
蘋果與卡內基梅隆大學提出 SSR 框架，讓多模態搜尋 Agent 不再逐 token 生成自由形式推理，而是從 6 條預定義推理選項中做選擇題。在 7 個多模態搜尋 benchmark 上，每輪推理延遲降低超過 90%，每題總推理延遲降低 28–54%，p95 推理延遲僅 0.07 秒；4B 模型平均成功率 61.37%，與同規模 SOTA 持平，2B 達 51.26%。推理選擇由模型自身打分完成，不需要額外分類頭，也可跳過 SFT warm start 直接接 RL 訓練。
量子位● 精選AI 評分68
Aether AI 公布 CRIS-0：0.2 秒急停、秒級重規劃
因果智慧公司 Aether AI 公布機器人系統 CRIS-0 的官方 Demo，靠提取物理因果變數而非端到端擬合驅動機械臂。在咖啡製作測試中遭遇人為移位與光照突變，系統平均 2 秒內完成重規劃，10 次隨機擾動有 9 次有效恢復；客廳長程整理可連續執行數十步，20 條模糊指令完成 18 次精準抓放，危險變數出現時 0.2 秒急停。