AISpot
熱點事件 · 持續更新

llama.cpp 發布 0.9.0:新增 FP8 E4M3 量化與多機張量並行新

2 則報導1 個報導來源 更新

先了解這件事AI 綜述

2026 年 11 月 4 日,llama.cpp 發布 b12110 建置,版本號提升至 0.9.0,隨後公布的 0.9.0 更新說明顯示底層 ggml 升級至 v0.29.0。核心變化包括新增 OCP FP8 E4M3 量化型別(飽和模式)及對應 ftype,新運算元 flash_attn_ext_rows 讓統一 KV cache 在多序列推理中更高效,並恢復了非統一 KV 的 prefill 效能;新增批次張量複製 API(ggml_backend_tensor_copy_n / set_n / get_n)取代 _2d API,已在 Metal 與 CUDA 上實現,同時加入基於 NCCL 的多節點張量並行。模型側新增 Clover、Limite、Metis-1.6、Mistral Large 4 四個架構,音訊生成與轉寫擴充套件至 Chatterbox TTS、Nemotron 3.5 Transcribe 和 Pocket TTS 預定義音色,Gemma 4 E2B/E4B 的 prefill 獲得大幅最佳化。

AI 根據 2 則報導生成 · 更新

報導時間線

沿著報導,了解事件的不同側面;點標題看單篇報導的摘要與原文連結。

11月4日星期三 · 2 則

  1. llama.cpp releases官方● 精選

    llama.cpp 0.9.0:支援 FP8 E4M3 量化與多機張量並行

    llama.cpp 發布 0.9.0,底層 ggml 升級至 v0.29.0,新增 OCP FP8 E4M3 量化型別與對應 ftype。新運算元 flash_attn_ext_rows 讓統一 KV cache 在多序列推理中更高效,非統一 KV 的 prefill 效能也得以恢復;同時加入批次張量複製 API 和基於 NCCL 的多節點張量並行。

  2. llama.cpp releases官方

    llama.cpp 版本號升至 0.9.0

    llama.cpp 發布 b12110 建置,版本號提升至 0.9.0。隨版本一同更新的多平台預編譯包覆蓋 macOS Apple Silicon/Intel、iOS XCFramework、Windows 與 Linux 的 CPU、CUDA 12/13(12.8/13.4 庫)、Vulkan、ROCm 10.0、OpenVINO、SYCL,以及 Android 與驍龍 CPU/Adreno GPU/Hexagon NPU 建置。

本事件熱度走勢

最高 1.0

為什麼熱

過去 48 小時,有 1 個獨立來源報導,最近 6 小時新增 1 個。熱度 0.9,熱門榜第 17 名。

熱度以 48 小時內的獨立來源計,同一來源只算一次,每 24 小時權重減半。

事件紀錄

最早報導
最近更新

同一事件的報導集中在這裡,新的進展會繼續補充。