llama.cpp b11792 將 d2t 改到 set_rows 以留在 GPU
llama.cpp 建置 b11792 將 d2t 放到其 set_rows 使用處,使其運算能留在 GPU 上,而不是回退到 CPU。該版本同時發布多平台預編譯包,覆蓋 macOS/iOS、Linux(含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL)、Android 與 Windows。需要注意的是,macOS Apple Silicon 的 KleidiAI 版本以及 openEuler 部分目標在本次建置中處於停用狀態。
原標題:b11792
閱讀原文
| 評分 | 38 / 42(平均 40,門檻 60) |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp 修復 ggml-cpu 多執行緒 SET_ROWS 越界寫
llama.cpp 修復了 ggml-cpu 後端 SET_ROWS 運算元的多執行緒越界寫入問題:該運算元按 n_tasks=1 規劃,但每個執行緒都會執行並各自佔用 F16→F32 轉換緩衝區的一行,當計算圖中還有別的多執行緒運算元時,編號大於 0 的執行緒就會寫到工作緩衝區之外;修復方式是把 set_rows 併入 n_task=n_threads 的執行緒組。
llama.cpp b11748 修復 SYCL 重排量化權重的 get_rows
llama.cpp 發布 b11748 建置,主要修復 SYCL 後端在重排後的量化權重上呼叫 get_rows 的問題(PR #30430)。該版本同時更新了多平台預編譯產物:macOS/iOS 的 XCFramework、Linux 與 Windows 的 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 建置,以及驍龍平台的 CPU、Adreno GPU 與 Hexagon NPU 支援。
llama.cpp b11878:CUDA 後端融合 Qwen MRoPE 與 set-rows
llama.cpp 發布 b11878,CUDA 後端新增 Qwen MRoPE 與 set-rows 的運算元融合(PR #31025),把這兩步計算合併進單個 GPU kernel。MRoPE 是 Qwen 系列模型使用的多維旋轉位置編碼,該改動面向在 NVIDIA GPU 上執行 Qwen 的本地推理使用者。
llama.cpp 發布 b11391 版本,CUDA 程式碼小幅調整
llama.cpp 發布 b11391 建置版本,唯一程式碼改動是將 CUDA 後端的 blocks_per_col 變數移到實際使用位置(PR #29939),由 Hugging Face 的 Adrien Gallouët 提交。
llama.cpp b11572 新增 vLLM d3 模型支援
llama.cpp 發布 b11572,新增對 vLLM d3 模型的支援(d2 同步更新),並加入 pplx-decider 模型支援,同時澄清命名規則、加強校驗。該版本照例提供 macOS/iOS、Linux、Windows、Android、openEuler 的預編譯包,覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及驍龍 CPU/Adreno GPU/Hexagon NPU 等後端。