搜尋

找到 2 筆；也可以試試語意搜尋

X @ggerganov10/16 17:27AI 評分42

llama.cpp v0.7.0 發布，llama serve 新增懶載入與推測解碼

llama.cpp 發布 v0.7.0，作者給出的範例命令是 llama serve -hf ggml-org/Qwen3.8-Flash-Next-GGUF:IQ4_NL --spec-type draft-mtp --lazy-mode on。命令通過 -hf 指定 Hugging Face 上的 Qwen3.8-Flash-Next GGUF 倉庫及 IQ4_NL 量化，並同時開啟 --lazy-mode 懶載入與 --spec-type draft-mtp 推測解碼。

地端推論開源 llama.cpp 本地推理 GGUF 量化 DGX Spark

2 個來源 · 3 則報導閱讀原文

llama.cpp releases10/24 19:55AI 評分38

llama.cpp Metal 後端移除 MoE mul_mm_id 的 amax 重縮放

llama.cpp 建置 b11866 在 Metal 後端移除了 kernel_mul_mm_id 中對 src1 的二次冪重縮放。這項縮放已經被計算圖中按 expert-token 執行的 amax 縮放（#30861）取代，後者能在運算元執行之前把 MoE 下投影啟用維持在 f16 範圍內。

地端推論開源 llama.cpp Metal MoE amax Qwen3.8-Flash-Next-GGUF

1 個來源 · 3 則報導閱讀原文