llama.cpp releasesAI 評分46
llama.cpp b11729 為 Qwen3 加入雙向注意力支援
llama.cpp 發布 b11729，為 Qwen3 加入雙向注意力（bidirectional attention）與 dense_2 輸出投影支援，模型轉換指令碼 conversion/base.py 會讀取 use_bidirectional_attention 欄位。
搜尋
依意思最接近的 30 筆
Hacker News front pageAI 評分60
Quanta 專欄回顧注意力機制起源與影響
Quanta 雜誌專欄回顧注意力機制的由來與影響：2014 年，Dzmitry Bahdanau 與 Yoshua Bengio、Kyunghyun Cho 為提升英法翻譯提出注意力，讓神經網路處理長句不再受固定記憶瓶頸限制。它讓網路動態判斷源句中哪些詞最影響下一個輸出詞。2017 年 Google 團隊發表《Attention Is All You Need》，提出只靠注意力的 transformer，以更少算力取得當時最佳翻譯，該論文已被引用超過 25 萬次。
機器之心● 精選AI 評分78
哈工大 STILL 被 NeurIPS 2026 接收，首個內容感知層內混合注意力
哈爾濱工業大學（深圳）團隊的 STILL 被 NeurIPS 2026 接收，這是首個按內容而非位置在同一注意力層內混合 Softmax 與線性注意力的框架：先用區域性滑窗內的自顯著性分數挑出重要 token 交給 Softmax，其餘交給線性注意力，並用保範數對映 NP-Map 保住預訓練範數結構。它僅用 0.04B token 完成對預訓練 LLM 的線性化，16K 上下文下視訊記憶體削減 80%、預填充加速 83%；
llama.cpp releasesAI 評分46
llama.cpp 將無快取注意力的 KV 維度填充到 256，修復 Flash Attention 回退 CPU
llama.cpp b11576 把無快取注意力路徑的 KV 維度填充到 256，修復了該路徑下 Flash Attention 回退 CPU 的問題。
llama.cpp releasesAI 評分42
llama.cpp b11722 為 Hexagon NPU 加入多流 flash attention
llama.cpp 發布 b11722，Hexagon 後端新增多流 flash attention（multistream FA）支援，驍龍平台的 Hexagon NPU 推理可用上這一加速路徑。
機器之心● 精選AI 評分79
斯坦福博士部落格：從記憶推匯出 MLP 與自注意力
斯坦福大學計算機博士 Alex Wang 於 10 月 15 日發布部落格，把線性層、MLP 與自注意力統一解釋為不同形式的聯想記憶儲存器，並從記憶之間的干擾出發推匯出這些結構。在 64 維 Key 的隨機記憶實驗中，線性儲存器容量約 64 條，平方 ReLU 的 GLU 式 MLP 約 2700 條，採用固定縮放係數的自注意力理論容量約 120 萬條；1/√d_k 縮放以及 YaRN 等長上下文擴充套件策略也能從干擾角度得到解釋。
llama.cpp releasesAI 評分37
llama.cpp 發布 b11402，CUDA 後端改用整塊 FlashAttention 排程
llama.cpp 發布 b11402 版本，CUDA 後端改為優先採用整塊（whole-tile）FlashAttention 排程，以提升兩階段核心效率。
Hacker News front pageAI 評分69
自注意力可存超百萬條記憶：Transformer 記憶容量解讀
這篇博文把線性層、MLP 和自注意力解釋為不同形式的記憶儲存，並估算容量：在 64 維 key 下，線性層約存 64 條記憶，MLP 約 2700 條，自注意力可超過 100 萬條。它用干擾-訊號比衡量召回品質：儲存越多，鍵之間干擾越大，干擾等於訊號時達到容量；鍵正交時召回才精確。文章還指出梯度下降的一步可視為寫入一條 key 為輸入、value 為負梯度乘學習率的記憶，並配有互動式應用展示召回如何失敗。
llama.cpp releasesAI 評分45
llama.cpp b11723：Hexagon 快閃記憶體注意力支援長上下文與 SWA 模型
llama.cpp 發布 b11723 建置，Hexagon NPU 後端的 FLASH_ATTN_EXT 得到改進，可支援更長上下文與滑動視窗注意力（SWA）模型（#30731）。同一批改動還包括掩碼塊跳過以減少 DMA 取數、微調 hmx→hvx 切換閾值以提升 gemma-4 表現，以及讓 hmx 門控計入 mdev.count。
llama.cpp releasesAI 評分50
llama.cpp b11518 為 Metal 新增 128/96 Flash Attention 核心
llama.cpp 發布 b11518，Metal 後端加入 128 與 96 兩檔 Flash Attention 核心，並接受所有已編譯的維度組合（#30209）。該版本同時提供 macOS/iOS、Linux、Android、Windows 與 openEuler 的預編譯產物，覆蓋 CPU、Vulkan、CUDA 12/13、ROCm 10.0、SYCL、OpenVINO 及 Snapdragon 的 Adreno GPU 與 Hexagon NPU；
llama.cpp releases● 精選AI 評分68
llama.cpp 為 Metal 新增 F16 KV 張量 API flash attention 核心
llama.cpp 合併 PR #29570，在 Metal 後端為 F16 KV 快取加入基於張量 API 的 flash attention 核心。該核心覆蓋 DK=DV=512、DK=576/DV=512、DK=192/DV=128 等配置，並支援 attention sinks、ALiBi 與 logit softcap。改動隨 b11362 建置發布，覆蓋 macOS Apple Silicon、iOS 及 Linux、Windows、Android 等多平台建置。
llama.cpp releasesAI 評分45
llama.cpp 為 IBM Z 的 ggml-zdnn 後端加入 flash attention
llama.cpp 建置 b11759 為 ggml-zdnn 後端新增 flash attention 運算元（fattn），並去掉原有的 scratch slots，改用 scratch buffer pool 統一管理臨時緩衝，文件也補上了關於 fattn 的說明。該後端面向 IBM Z 的 s390x 平台，本次改動隻影響使用 zDNN 加速的建置。
機器之心● 精選AI 評分78
小紅書開源 DoSA，1M 上下文首 token 延遲最多降 48%
小紅書 Dots 團隊開源稀疏注意力加速方案 DoSA，在保持原始 Top-K 選擇結果完全等價的前提下加速索引器，約 1M token 上下文下 Dots3-Note-preview、GLM-5.2、DeepSeek-V3.2 的首 token 延遲較各自 SGLang 基線分別降低約 37%、46% 和 48%。其做法是用分數上界與入選門檻下界，提前排除約 97% 不可能入選的候選，只對剩餘候選做全部索引頭的精確打分。
llama.cpp releasesAI 評分45
llama.cpp Metal 後端新增 BF16 張量 flash attention 核心
llama.cpp 最新建置 b11645 為 Metal 後端的張量 API flash attention 核心加入了 BF16 變體，主要面向 Apple Silicon 上的 macOS 與 iOS。同一提交還把張量 FA 核心遷移到 kernels/fa_tensor.metal。
Hacker News front pageAI 評分52
論文：如何讓 System 1 大模型展現 System 2 能力
AAAI 期刊論文《How to make System 1 LLMs show System 2 competencies?》在 Wiley Online Library 上線，研究如何讓直覺式（System 1）大模型表現出慢思考（System 2）的能力。全文需經 Wiley 連結檢視，Hacker News 同期討論帖僅 7 分、1 條評論。原文未披露所用方法、模型與實驗資料。
llama.cpp releasesAI 評分43
llama.cpp b11724 修復 CUDA flash_attn_ext_vec 競態
llama.cpp 發布 b11724 建置，主要修復 CUDA 後端 flash_attn_ext_vec 中共享記憶體的寫後讀（WAR）冒險與 KQ 寫後讀競態，避免注意力計算出錯。補丁由社群貢獻者提交，並附 ChatGPT 協助說明，同時整理了 KQ 同步相關注釋。
llama.cpp releasesAI 評分40
llama.cpp b11600 修復 T5 無快取注意力的 KQ 偏置填充
llama.cpp 發布建置 b11600，主要修復無快取注意力中 KQ 偏置未填充的問題：T5 會額外加入形狀為 [n_tokens, n_tokens] 的相對位置偏置，當 n_tokens 不能整除填充後的寬度時，與 KQ 相加會失敗，現在按 K、V 的做法用零把偏置填充到 mask 的 KV 維度。
Hacker News front pageAI 評分41
doubleAI 發布 Maxwell：位於程式碼與硬體之間的執行模型
doubleAI 發布 Maxwell，稱其為介於程式碼與硬體之間的 Code Execution Model，能在程式執行過程中加速程式碼，且不修改任何一行原始碼。它通過 trace、profiling 資訊和流經程式的資料觀察程式，並動態適配硬體、同機其他負載與輸入形態。目前已在 heymaxwell.ai 開放早期訪問。團隊認為，針對每種硬體和資料流反覆重新最佳化（如 vLLM 這類 LLM 推理引擎）不可擴充套件。
r/LocalLLaMA top of the dayAI 評分68
Percepta 發布 Spotlight 架構，記憶可無限增長
Percepta 公布新架構 Spotlight，用可讀寫記憶取代注意力機制，宣稱是首個實現記憶無限增長而不增加訪問成本的架構。每個 token 只讀寫少量記憶單元，稀疏度可任意調節，不像 MoE 那樣固定啟用比例。該架構把負責計算的智慧模組與存放知識、流程和狀態的記憶分離，模型權重不隨記憶增長而改變，可自行決定載入與覆寫，從而無需重訓練即可獲得新能力。
機器之心● 精選AI 評分79
南開阿里等提出 PoS，識別 Belief Trapping 打破 Agent 空轉
南開大學聯合阿里雲、清華大學提出 PoS（Progression of States），把智慧體持續互動卻無實質進展的狀態定義為 Belief Trapping，並用顯式信念狀態、Belief Health 檢測與 Trapping-Aware Recovery 打破它。
llama.cpp releasesAI 評分36
llama.cpp b11414 修復 Vulkan 後端 flash attention 與 soft_max 複用問…
llama.cpp 發布建置 b11414，本版列出的程式碼改動是 Vulkan 後端修復 prealloc_y 在 flash attention 與 soft_max 之間複用時殘留舊資料的問題（PR #29591），提交標註 Assisted-by: Claude。
MLX LM releasesAI 評分42
v0.32.2 發布：修復 MiMo-V2-Flash 注意力縮放問題
v0.32.2 於 10 月 16 日發布，核心改動是修復 MiMo-V2-Flash 的注意力數值縮放問題。同一版本還修復了 SMM 的 mask，並更新 Muse spark 在 Hugging Face 上的名稱。發布由 michalk8 完成，@ricky-chaoju 以首次貢獻者身份提交了 MiMo-V2-Flash 的修復，完整變更記錄為 v0.32.1...v0.32.2。
機器之心● 精選AI 評分78
7B 審計模型 AgentForesight 上線，多智慧體任務失敗前預警
羅格斯大學、得州大學奧斯汀分校與普渡大學團隊提出線上審計模型 AgentForesight，用 7B 模型在任務執行中逐步讀取軌跡字首，在關鍵錯誤擴散成失敗前報警。在 AFTraj-2K 測試集上，其關鍵錯誤步驟識別 Exact-F1 達 66.44，比最強通用基線 DeepSeek-V4-Pro 高 19.88 分，成功軌跡誤報率僅 2.37%。
llama.cpp releasesAI 評分59
llama.cpp Vulkan 後端加入量化 K/V 稀疏 Flash Attention
llama.cpp 合併 PR #29639，為 Vulkan 後端加入針對量化 K/V 快取的稀疏 Flash Attention，並把稀疏 FA 的索引壓縮改為單次掃描。原實現每行 mask 用一個 workgroup、按 BLOCK_SIZE 分塊各做一次掃描，解碼時單個 workgroup 要跑 KV/1024 次受 barrier 限制的迭代，128k 單元格下開銷超過它服務的稀疏注意力本身。
llama.cpp releases● 精選AI 評分68
llama.cpp Hexagon 的 flash_attn 改為按 KV 頭切分
llama.cpp 的 Hexagon 後端在 row-split 多核模式下把 flash_attn 從按 Q token 切分改為按 KV head 切分，讓每個核心只讀自己負責的那部分 KV cache，不再重複讀取全部 KV cache。該行為由 GGML_HEXAGON_FA_HEAD_SPLIT 控制，預設開啟；當 n_kv_heads 不能被核心數整除時回退到原 token-block 切分（如 4 核上只有 2 個 KV head 的 Gemma-4）。
llama.cpp releasesAI 評分42
llama.cpp b11466 修復 WebGPU flash_attn 的 KV 重疊檢查
llama.cpp 發布 b11466，唯一程式碼改動是修復 ggml-webgpu 後端 flash_attn 對 KV 重疊情形的 supports_op 檢查（#28205）。該版本同步更新各平台預編譯包，涵蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，後端包括 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO，以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU；
機器之心● 精選AI 評分74
DeepMind 用 AI 智慧體篩出抗菌肽候選並進入溼實驗
Google DeepMind 10 月 15 日發布技術演示，展示用 AI 開發平台 Google Antigravity 的智慧體尋找抗菌肽：從 UniProt 數百萬條序列出發，經 ProtNLM 功能預測與序列、AlphaFold 結構、基因組鄰域三類證據篩選，找到一種 97 個胺基酸的乳酸菌素 972 家族細菌素候選（UniProt A0A0U0D591），已進入溼實驗驗證。
量子位● 精選AI 評分88
Anthropic 實測：GLM-5.2 端到端自主複製攻陷 8 臺裝置
Anthropic 兩位安全研究員 William Zhou 與 Daniel Freeman 發布「自主複製與適應（ARA）」安全實驗：在 8 個 GCP 節點（Android 15 redroid）組成的隔離網路裡，GLM-5.2 在 5 次測試中 4 次自主攻陷並部署全部 8 臺裝置，另 1 次拿下 7 臺。研究還顯示，Qwen3.5-9B 能在 9 種硬體中的 8 種上自行排錯並部署 Llama3.1-8B；
Hugging Face blog● 精選AI 評分75
Apertus 1.5 開源發布：新增影像音訊理解，上下文擴至 262k
Apertus 1.5 發布，在 8B 與 70B 兩個尺寸上新增影像與音訊理解、可選思考模式，上下文視窗擴至 262,144 token，為 1.0 的 4 倍。權重已於 2026 年 7 月 24 日以 Apache 2.0 許可上傳 Hugging Face，技術報告同步公開。模型由第一代繼續預訓練而來，8B 增加 4 萬億 token、70B 增加 2 萬億，總量分別達 19T 與 17T。
llama.cpp releasesAI 評分42
llama.cpp 發布 b11424，修復 Vulkan Flash Attention 共享記憶體越界寫
llama.cpp 發布 b11424 建置版本，修復 Vulkan 後端 Flash Attention 的共享記憶體越界寫問題（#29988）。該版本照例提供 macOS/iOS、Linux、Windows、Android 的預編譯包，涵蓋 Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL、OpenCL 等後端，並附驍龍 CPU/Adreno GPU/Hexagon NPU 的安裝指引。