搜尋

找到 2 筆；也可以試試語意搜尋

llama.cpp releases11/4 12:56AI 評分42

llama.cpp 版本號升至 0.9.0

llama.cpp 發布 b12110 建置，版本號提升至 0.9.0。隨版本一同更新的多平台預編譯包覆蓋 macOS Apple Silicon/Intel、iOS XCFramework、Windows 與 Linux 的 CPU、CUDA 12/13（12.8/13.4 庫）、Vulkan、ROCm 10.0、OpenVINO、SYCL，以及 Android 與驍龍 CPU/Adreno GPU/Hexagon NPU 建置。

地端推論開源 llama.cpp 0.9.0 版本發布本地推理多平台建置

1 個來源 · 2 則報導閱讀原文

llama.cpp releases● 精選11/4 13:09AI 評分80

llama.cpp 0.9.0：支援 FP8 E4M3 量化與多機張量並行

llama.cpp 發布 0.9.0，底層 ggml 升級至 v0.29.0，新增 OCP FP8 E4M3 量化型別與對應 ftype。新運算元 flash_attn_ext_rows 讓統一 KV cache 在多序列推理中更高效，非統一 KV 的 prefill 效能也得以恢復；同時加入批次張量複製 API 和基於 NCCL 的多節點張量並行。

地端推論開源 llama.cpp ggml v0.29.0 FP8 E4M3 多模態音訊 Mistral Large 4

1 個來源 · 2 則報導閱讀原文