X @ggerganovAI 評分56
llama.cpp 發布 v0.9.0，數週內推進 v1.0.0
llama.cpp 發布 v0.9.0，並計劃在未來幾週內推進首個大版本 v1.0.0。作者 @ggerganov 在發布當天公布了這一安排，GitHub 發布頁已上線 v0.9.0。v1.0.0 的具體改動和發布日期尚未說明。
搜尋
找到 2 筆；也可以試試 語意搜尋
llama.cpp releases● 精選AI 評分80
llama.cpp 0.9.0：支援 FP8 E4M3 量化與多機張量並行
llama.cpp 發布 0.9.0，底層 ggml 升級至 v0.29.0，新增 OCP FP8 E4M3 量化型別與對應 ftype。新運算元 flash_attn_ext_rows 讓統一 KV cache 在多序列推理中更高效，非統一 KV 的 prefill 效能也得以恢復；同時加入批次張量複製 API 和基於 NCCL 的多節點張量並行。