搜尋：lightning indexer

llama.cpp releases10/3 12:28AI 評分42

llama.cpp 最佳化 lightning indexer 視訊記憶體與多後端支援

llama.cpp 合併多項改動，將 indexer 分數視訊記憶體佔用減半：原先同時存在兩個 [n_pool, n_idx_h, n_tokens] f32 張量，現改為逐頭計算並原地累加為單個 [n_pool, n_tokens] 分數。同時 CUDA 支援 4 頭、Metal 以函式常量讀取頭數、Vulkan 按 64 鍵×8 token 分塊並改用 fp16 點積，indexer 改為呼叫 ggml_lightning_indexer 且鍵只讀一次。

開發工具地端推論 llama.cpp Qwen Vulkan CUDA Metal

2 個來源 · 3 則報導閱讀原文

llama.cpp releases10/5 08:08AI 評分40

llama.cpp 為 4 頭 lightning indexer 新增 CUDA 分塊核心

llama.cpp 合併 b11405 版本更新，為 lightning indexer 在 CUDA 與 ROCm 後端新增分塊核心，針對 4 頭場景最佳化。新核心將鍵以半精度暫存、查詢逐頭載入，每執行緒負責一個鍵對兩個 token，避免點積的跨執行緒歸約；同時把乘積改為 float 計算以防 half2 溢位，並讓每個鍵元素只擴充套件一次供所有頭使用。ROCm 上內層迴圈展開 8 次，gfx908 僅用 63 個 VGPR 無溢位，R9700 上核心提速 36 倍。

地端推論開源 llama.cpp CUDA ROCm lightning indexer kernel 最佳化

2 個來源 · 3 則報導閱讀原文