llama.cpp releases● 精選AI 評分62
llama.cpp b12000 支援 OCP FP8 E4M3 量化
llama.cpp 發布 b12000，新增 OCP FP8 E4M3 支援，覆蓋模型轉換、CPU 推理與 gguf-py 工具鏈，並修復 RedHatAI/Qwen3.8-27B-NVFP4 的轉換問題。轉換路徑補齊了 FP8 權重與 input_scales 的處理，改為結合 dtype 判斷，避免按行 FP8 被誤判走 NVFP4。
搜尋
找到 2 筆；也可以試試 語意搜尋
llama.cpp releases● 精選AI 評分80
llama.cpp 0.9.0：支援 FP8 E4M3 量化與多機張量並行
llama.cpp 發布 0.9.0，底層 ggml 升級至 v0.29.0，新增 OCP FP8 E4M3 量化型別與對應 ftype。新運算元 flash_attn_ext_rows 讓統一 KV cache 在多序列推理中更高效，非統一 KV 的 prefill 效能也得以恢復；同時加入批次張量複製 API 和基於 NCCL 的多節點張量並行。