llama.cpp 將 KV-cache 旋轉常量常駐 GPU
llama.cpp 發布 b12007，核心改動是把 KV-cache 的旋轉常量保留在 GPU 上（#31073），並支援逐層旋轉緩衝，配套測試用於驗證常駐的 KV 旋轉緩衝。此次還修復了混合 SWA 旋轉輸入與混合放置檢查的問題，mistral-large4 與 dflash 模型改用逐層旋轉。多裝置旋轉的剩餘工作已補充文件，旋轉緩衝相關測試被移除；
原標題：b12007
閱讀原文
| 評分 | 42 / 45（平均 43，門檻 60） |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp b11411 修復 KV cache 旋轉後設資料不匹配問題
llama.cpp 發布 b11411，修復恢復 KV cache 時 rotation 後設資料不匹配的問題：現在會儲存精確的 rotation 後設資料，並拒絕恢復與之不匹配的快取。原先的 state rotation 測試被移入 test-save-load-state，納入儲存/載入測試矩陣，對所有受測模型執行，並探測模型支援的 KV cache 型別組合，不使用 attention rotation 的模型視為空通過。
llama.cpp 修復 OpenCL 下狀態恢復丟失 KV-cache 的問題
llama.cpp 發布建置 b11910，修復 OpenCL 後端未在 set_tensor 中寫入 KV-cache 檢視、導致狀態恢復（state restore）被丟棄的問題（PR #30471）。
llama.cpp 修復共享 KV cache 時 kv_rows 返回 0 的問題
llama.cpp 發布 b12065，修復了共享 KV cache 的序列在還沒有任何 cell 時 get_n_kv_rows() 返回 0 的問題。這類 cache 會複用另一個 cache 的 cells（例如 gemma4 assistant），因此當服務預熱階段提前建置圖時，它會被誤判為不使用 kv_rows，從而回退到 dense KQ mask 並讓排程器重新規劃；此後建置掩碼更大的圖時，在 GGML_SCHED_DEBUG_REALLOC=1 下會中止。
llama.cpp 將無快取注意力的 KV 維度填充到 256，修復 Flash Attention 回退 CPU
llama.cpp b11576 把無快取注意力路徑的 KV 維度填充到 256，修復了該路徑下 Flash Attention 回退 CPU 的問題。
llama.cpp 修復 Vulkan 後端 RDNA4 矩陣向量調優
llama.cpp 發布 b11389 版本，修復了 Vulkan 後端在 RDNA4 架構上的矩陣向量運算調優問題（PR #29934）。該版本繼續提供覆蓋 macOS、Linux、Windows、Android 等平台的預編譯二進位制，包括 Vulkan、CUDA、ROCm、SYCL 等後端，其中 macOS Apple Silicon 的 KleidiAI 啟用版和 openEuler 建置被停用。