llama.cpp 0.9.0:支援 FP8 E4M3 量化與多機張量並行
llama.cpp 發布 0.9.0,底層 ggml 升級至 v0.29.0,新增 OCP FP8 E4M3 量化型別與對應 ftype。新運算元 flash_attn_ext_rows 讓統一 KV cache 在多序列推理中更高效,非統一 KV 的 prefill 效能也得以恢復;同時加入批次張量複製 API 和基於 NCCL 的多節點張量並行。
2026 年 11 月 4 日,llama.cpp 發布 b12110 建置,版本號提升至 0.9.0,隨後公布的 0.9.0 更新說明顯示底層 ggml 升級至 v0.29.0。核心變化包括新增 OCP FP8 E4M3 量化型別(飽和模式)及對應 ftype,新運算元 flash_attn_ext_rows 讓統一 KV cache 在多序列推理中更高效,並恢復了非統一 KV 的 prefill 效能;新增批次張量複製 API(ggml_backend_tensor_copy_n / set_n / get_n)取代 _2d API,已在 Metal 與 CUDA 上實現,同時加入基於 NCCL 的多節點張量並行。模型側新增 Clover、Limite、Metis-1.6、Mistral Large 4 四個架構,音訊生成與轉寫擴充套件至 Chatterbox TTS、Nemotron 3.5 Transcribe 和 Pocket TTS 預定義音色,Gemma 4 E2B/E4B 的 prefill 獲得大幅最佳化。
AI 根據 2 則報導生成 · 更新
沿著報導,了解事件的不同側面;點標題看單篇報導的摘要與原文連結。
llama.cpp 發布 0.9.0,底層 ggml 升級至 v0.29.0,新增 OCP FP8 E4M3 量化型別與對應 ftype。新運算元 flash_attn_ext_rows 讓統一 KV cache 在多序列推理中更高效,非統一 KV 的 prefill 效能也得以恢復;同時加入批次張量複製 API 和基於 NCCL 的多節點張量並行。
過去 48 小時,有 1 個獨立來源報導,最近 6 小時新增 1 個。熱度 0.9,熱門榜第 19 名。
熱度以 48 小時內的獨立來源計,同一來源只算一次,每 24 小時權重減半。
同一事件的報導集中在這裡,新的進展會繼續補充。