搜尋

找到 2 筆；也可以試試語意搜尋

llama.cpp releases10/3 11:28AI 評分42

llama.cpp 最佳化 lightning indexer 視訊記憶體與多後端支援

llama.cpp 合併多項改動，將 indexer 分數視訊記憶體佔用減半：原先同時存在兩個 [n_pool, n_idx_h, n_tokens] f32 張量，現改為逐頭計算並原地累加為單個 [n_pool, n_tokens] 分數。同時 CUDA 支援 4 頭、Metal 以函式常量讀取頭數、Vulkan 按 64 鍵×8 token 分塊並改用 fp16 點積，indexer 改為呼叫 ggml_lightning_indexer 且鍵只讀一次。

開發工具地端推論 llama.cpp Qwen Vulkan CUDA Metal

2 個來源 · 4 則報導閱讀原文

llama.cpp releases10/27 08:53AI 評分43

llama.cpp：ggml SCALE 支援非連續檢視

llama.cpp 新建置 b11923 放寬了 ggml SCALE 運算元的輸入要求：此前 src0 必須一維連續，現在只需 dim-0 連續、允許任意行步長，與 Metal 後端一元運算元的行為一致。CPU（f32、bf16 按位元組步長定址行）、CUDA（步長感知核心，用 fastdiv 做行分解）與 Metal（新增 bf16 scale）均已適配，SYCL 仍限定連續輸入。test_scale 增加了 view 變體測試，已在 CPU、Metal、CUDA 上驗證；

地端推論開源 ggml SCALE 非連續檢視多後端支援 b11923

閱讀原文