AISpot

搜尋

找到 3 筆;也可以試試 語意搜尋

llama.cpp releasesAI 評分35

llama.cpp 為 SYCL 後端最佳化 q4_K/q5_K 反量化

llama.cpp 建置 b11685 合入 #29696,為 SYCL 後端在 q4_K/q5_K 權重的反量化中加入寬儲存(wide stores),以提升該後端上的推理效率。該版本照常覆蓋 macOS/iOS、Linux、Android 與 Windows,含 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL FP32/FP16 以及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等建置。

llama.cpp releasesAI 評分42

llama.cpp 的 OpenCL 後端新增 i32 GET_ROWS 與 i32/f32 複製支援

llama.cpp 建置 b11740 為 OpenCL 後端加入了 i32 型別的 GET_ROWS 行讀取,以及 i32 與 f32 之間的複製轉換(PR #30756)。這一版同時發布了 macOS(Apple Silicon/Intel)、iOS、Android、Windows、Linux 的預編譯包,覆蓋 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等後端。

llama.cpp releasesAI 評分45

llama.cpp 為 IBM Z 的 ggml-zdnn 後端加入 flash attention

llama.cpp 建置 b11759 為 ggml-zdnn 後端新增 flash attention 運算元(fattn),並去掉原有的 scratch slots,改用 scratch buffer pool 統一管理臨時緩衝,文件也補上了關於 fattn 的說明。該後端面向 IBM Z 的 s390x 平台,本次改動隻影響使用 zDNN 加速的建置。