llama.cpp releases● 精選AI 評分80
llama.cpp 0.9.0：支援 FP8 E4M3 量化與多機張量並行
llama.cpp 發布 0.9.0，底層 ggml 升級至 v0.29.0，新增 OCP FP8 E4M3 量化型別與對應 ftype。新運算元 flash_attn_ext_rows 讓統一 KV cache 在多序列推理中更高效，非統一 KV 的 prefill 效能也得以恢復；同時加入批次張量複製 API 和基於 NCCL 的多節點張量並行。
找到 1 筆；也可以試試 語意搜尋
llama.cpp 發布 0.9.0，底層 ggml 升級至 v0.29.0，新增 OCP FP8 E4M3 量化型別與對應 ftype。新運算元 flash_attn_ext_rows 讓統一 KV cache 在多序列推理中更高效，非統一 KV 的 prefill 效能也得以恢復；同時加入批次張量複製 API 和基於 NCCL 的多節點張量並行。