llama.cpp b11808:dflash 支援可選 FC 輸入縮放
llama.cpp 發布建置 b11808,主要改動是 dflash 支援載入可選的 FC 輸入縮放(#30945),該改動由 Codex 協助完成。本版照例提供各平台預編譯包,覆蓋 macOS/iOS、Linux(含 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO)、Windows、Android 與 openEuler,Snapdragon 平台同時支援 CPU、Adreno GPU 與 Hexagon NPU。
原標題:b11808
閱讀原文
| 評分 | 42 / 22(平均 32,門檻 60) |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp v0.6.0 支援 DFlash,Qwen3.8-27B 推理提速
llama.cpp 作者 Georgi Gerganov 建議使用 Qwen3.8-27B + MTP 的使用者升級到 DFlash,以獲得額外速度提升。啟用方式是在最新 llama.cpp v0.6.0 上執行 llama serve -hf ggml-org/Qwen3.8-27B-GGUF,並加上 --spec-type draft-dflash 與 --spec-draft-n-max 7 兩個引數。該提示未給出具體提速幅度,只強調必須使用最新版本。
llama.cpp 發布 b11424,修復 Vulkan Flash Attention 共享記憶體越界寫
llama.cpp 發布 b11424 建置版本,修復 Vulkan 後端 Flash Attention 的共享記憶體越界寫問題(#29988)。該版本照例提供 macOS/iOS、Linux、Windows、Android 的預編譯包,涵蓋 Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL、OpenCL 等後端,並附驍龍 CPU/Adreno GPU/Hexagon NPU 的安裝指引。
llama.cpp 新增 Flint 模型支援,多平台建置同步更新
llama.cpp 建置 b11803 合併了對新模型 Flint(FlintForCausalLM)的支援,該提交由 Codex 協助完成,合作者包括 Hugging Face 的 Sigbjørn Skjæret。同版本的預編譯產物覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler,包含 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端。
llama.cpp b11501:SYCL 後端 FWHT 最佳化,macOS KleidiAI 建置停用
llama.cpp 發布 b11501 建置,主要變更是 SYCL 後端的 FWHT 最佳化(PR #29605)。該版本繼續提供 macOS/iOS、Linux、Windows、Android 與 openEuler 的預編譯包,覆蓋 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL FP32/FP16,以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU。
llama.cpp b11518 為 Metal 新增 128/96 Flash Attention 核心
llama.cpp 發布 b11518,Metal 後端加入 128 與 96 兩檔 Flash Attention 核心,並接受所有已編譯的維度組合(#30209)。該版本同時提供 macOS/iOS、Linux、Android、Windows 與 openEuler 的預編譯產物,覆蓋 CPU、Vulkan、CUDA 12/13、ROCm 10.0、SYCL、OpenVINO 及 Snapdragon 的 Adreno GPU 與 Hexagon NPU;