llama.cpp 統一 KV 快取改用 kv_rows 切片並修復零行

先了解這件事AI 綜述

2026 年 11 月 2 日至 3 日，llama.cpp 合併兩項統一 KV 快取改動。11 月 2 日的 b12059 合併 #29510，把多序列統一 KV 快取從稠密 KQ mask 改為 kv_rows 切片，以提升 flash attention 效率：每個序列維護一份 cell 點陣圖，按置位順序生成 cell 列表，並在 seq_pos_inc/dec 時增量更新，刪除 cell 無需重建；被 SWA 對所有 token 隱藏的 cell 會從列表剔除。等長單序列組成的 ubatch（如多個 slot 的草稿）拆為按序列切片，其餘 ubatch 合併為覆蓋全部序列 cell 的單一切片，不再回退稠密 KQ mask。11 月 3 日的 b12065 修復：共享其他 cache cells 的序列（如 gemma4 assistant）在尚無 cell 時 get_n_kv_rows() 返回 0，被誤判為不使用 kv_rows，預熱建圖會回退稠密 KQ mask 並觸發排程器重新規劃，此後更大掩碼的圖在 GGML_SCHED_DEBUG_REALLOC=1 下會中止。使用 llama.cpp 多序列並行與共享 KV 快取的本地推理使用者會直接受影響。

AI 根據 2 則報導生成 · 11/3 10:20 更新

本事件熱度走勢

為什麼熱

過去 48 小時，有 1 個獨立來源報導，最近 6 小時新增 0 個。熱度 0.7，熱門榜第 54 名。

熱度以 48 小時內的獨立來源計，同一來源只算一次，每 24 小時權重減半。

事件紀錄

最早報導

11/2 22:44

最近更新

11/3 08:12

同一事件的報導集中在這裡，新的進展會繼續補充。