搜尋

llama.cpp 多序列統一 KV 快取改用 kv_rows 切片

llama.cpp 合併 #29510，多序列共享的統一 KV 快取改用 kv_rows 切片，取代稠密的 KQ mask，以提升 flash attention 的效率。每個序列維護一份 cell 點陣圖，按置位順序生成 cell 列表，並在 seq_pos_inc/dec 時增量更新，刪除 cell 時不必重建；被 SWA 對所有 token 隱藏的 cell 會從列表中剔除。