搜尋
找到 3 筆;也可以試試 語意搜尋
llama.cpp releasesAI 評分45
llama.cpp 發布 b11969 建置,通過預計算中點加速 IQ4 量化檔案的建立(#31201),原文未給出具體的提速幅度。同版本更新了 macOS(Apple Silicon、Intel)、iOS XCFramework、Linux(含 CUDA 12、CUDA 13、ROCm 10.0、Vulkan、SYCL、OpenVINO)、Android、Windows 與 openEuler 的預編譯包;
X @ggerganovAI 評分42
llama.cpp 發布 v0.7.0,作者給出的範例命令是 llama serve -hf ggml-org/Qwen3.8-Flash-Next-GGUF:IQ4_NL --spec-type draft-mtp --lazy-mode on。命令通過 -hf 指定 Hugging Face 上的 Qwen3.8-Flash-Next GGUF 倉庫及 IQ4_NL 量化,並同時開啟 --lazy-mode 懶載入與 --spec-type draft-mtp 推測解碼。
llama.cpp releases● 精選AI 評分62
llama.cpp 的 Metal 後端將通用 few-row MMA 矩陣乘法核心擴充套件到更多權重量化型別,BF16、Q1_0、Q2_0、MXFP4、Q2_K、Q3_K、TQ2_0 及 IQ 系列現已納入。該核心適用於任何帶 16-weight 反量化器的型別,各型別從在 M3 Ultra 上能勝過現有核心的行數起啟用:TQ2_0 為 5 行,BF16 為 4 行,MXFP4、Q2_0、Q2_K、IQ4_NL 為 3 行,其餘為 2 行。