llama.cpp releases10/5 12:46AI 評分36
llama.cpp b11414 修復 Vulkan 後端 flash attention 與 soft_max 複用問…
llama.cpp 發布建置 b11414，本版列出的程式碼改動是 Vulkan 後端修復 prealloc_y 在 flash attention 與 soft_max 之間複用時殘留舊資料的問題（PR #29591），提交標註 Assisted-by: Claude。
搜尋
找到 3 筆；也可以試試 語意搜尋
llama.cpp releases● 精選10/3 01:28AI 評分68
llama.cpp 為 Metal 新增 F16 KV 張量 API flash attention 核心
llama.cpp 合併 PR #29570，在 Metal 後端為 F16 KV 快取加入基於張量 API 的 flash attention 核心。該核心覆蓋 DK=DV=512、DK=576/DV=512、DK=192/DV=128 等配置，並支援 attention sinks、ALiBi 與 logit softcap。改動隨 b11362 建置發布，覆蓋 macOS Apple Silicon、iOS 及 Linux、Windows、Android 等多平台建置。
llama.cpp releases10/5 09:37AI 評分59
llama.cpp Vulkan 後端加入量化 K/V 稀疏 Flash Attention
llama.cpp 合併 PR #29639，為 Vulkan 後端加入針對量化 K/V 快取的稀疏 Flash Attention，並把稀疏 FA 的索引壓縮改為單次掃描。原實現每行 mask 用一個 workgroup、按 BLOCK_SIZE 分塊各做一次掃描，解碼時單個 workgroup 要跑 KV/1024 次受 barrier 限制的迭代，128k 單元格下開銷超過它服務的稀疏注意力本身。