所屬事件：llama.cpp 發布 0.9.0：新增 FP8 E4M3 量化與多機張量並行（1 個來源 · 2 則報導）
2026 年 11 月 4 日，llama.cpp 發布 b12110 建置，版本號提升至 0.9.0，隨後公布的 0.9.0 更新說明顯示底層 ggml 升級至 v0.29.0。核心變化包括新增 OCP FP8 E4M3 量化型別（飽和模式）及對應 ftype，新運算元 flash_attn_ext_rows 讓統一… 看完整事件
llama.cpp 0.9.0：支援 FP8 E4M3 量化與多機張量並行
llama.cpp 發布 0.9.0，底層 ggml 升級至 v0.29.0，新增 OCP FP8 E4M3 量化型別與對應 ftype。新運算元 flash_attn_ext_rows 讓統一 KV cache 在多序列推理中更高效，非統一 KV 的 prefill 效能也得以恢復；同時加入批次張量複製 API 和基於 NCCL 的多節點張量並行。
一次更新落地 FP8 E4M3 量化、多節點張量並行和四種新模型架構，本地跑模型與自建推理服務的人可直接獲得更高吞吐和更多模型支援。
原標題：v0.9.0
閱讀原文
| 評分 | 82 / 78（平均 80，門檻 60） |
|---|---|
| 狀態 | 精選 |
全文翻譯
概述
本次發布新增 OCP FP8 E4M3 量化支援、新的 flash_attn_ext_rows 運算元（使統一 KV 快取在多序列推理中更高效），以及通用的批次張量複製 API。新增支援四種架構（Clover、Limite、Metis-1.6 和 Mistral Large 4），音訊生成與轉寫功能通過 Chatterbox TTS、Nemotron 3.5 Transcribe 和預定義 Pocket TTS 音色得到擴充套件，Gemma 4 E2B/E4B 模型獲得重大預填充最佳化。ggml 更新至 v0.29.0，帶來 FP8 E4M3、flash attention rows、基於 NCCL 的多節點張量並行，以及跨 CPU、CUDA、SYCL、Metal、Vulkan、OpenCL 和 Hexagon 後端的效能最佳化工作。伺服器和 UI 也獲得了一輪修復與改進。
亮點
- 量化：OCP FP8 E4M3 張量型別（飽和模式），附帶轉換輔助函式和新的 ftype（#27512）
- llama：flash_attn_ext_rows - 更高效的多序列統一 KV，恢復非統一 KV 預填充效能（#29510）
- ggml：批次張量複製 API（ggml_backend_tensor_copy_n / set_n / get_n），取代 _2d API，已在 Metal 和 CUDA 上實現（#30881）
- llama.cpp 連續第三年成為 GitHub Octoverse 報告中的特色倉庫：
API 變更
- llama.h：新增 LLAMA_FTYPE_MOSTLY_F8_E4M3（#27512）
- mtmd.h：新增 MTMD_GEN_AUDIO_TYPE_CHATTERBOX 和 mtmd_gen_audio_info 中的 n_voices（#30993）
- mtmd.h：新增預定義音色 API：mtmd_gen_audio_voice_name()、mtmd_gen_audio_get_voice()、mtmd_gen_state_set_ref()（#30993）
- mtmd.h：新增 mtmd_bitmap_is_voice() 和 mtmd_gen_audio_read_tensor()（#30993）
- mtmd.h：新增 MTMD_VIDEO_TEMPLATE_QWEN3VL 影片提示模板（#31619）
- server：GET /props 報告模型的預定義 TTS 音色；TTS 端點接受預定義音色名稱（#30993）
- server：/v1/responses 現在將 extra_params（seed、min_p 等）合併到轉換後的 chat-completions 回應中（#30959）
新模型
- Clover-35B-A3B-Preview 擴散模型，AR 模式（#31306）
- Limite 1B - Violetto（#29433）
- Metis-1.6（Praxis ~2.9B 和 Logos ~10.2B）：混合 Mamba-2 / GQA 注意力，具有固定深度迴圈和 LatentMoE（#31134）
- Mistral Large 4（#31376）
核心變更
- gemma4：圖最佳化為 E2B 和 E4B 帶來大幅預填充提升（#31356）；在 gemma3n 和 gemma4 中於繫結輸出之前建立 token_embd（#31394）
- LFM3：啟用 NVFP4 GGUF（#31608），啟用張量分割（#31431），量化音訊編解碼器解碼器（#31386）
spec dec：在上下文檢查點中儲存和恢復 MTP 隱藏狀態（#30141），並記錄 LFM3 層輸入（#31598）
dflash：通過裝置複製複製隱藏特徵（#31506）；qwen4exp：寫入卷積狀態尾部而不使用中間 cont（#31443）
模型載入：複用張量暫存緩衝區並跳過直接 IO bounce 緩衝區（#31321）
kv-cache：將 Hadamard 旋轉常量保留在 GPU 上（#31073），並修復共享 KV 層中的注意力張量旋轉（#31406）
kv-cache：對於沒有 cell 的序列，絕不返回 0 kv_rows（#31570），並拒絕回滾超過最後一個 ubatch 快照的操作（#31368）
Gemma4 MTP assistant：遵循 ctx_other 裝置和 flash-attention 設定（#31635）；DSV4：移除簡單批拆分（#31300）
chat：在 reasoning_format 為 none 時剝離 qwen3-coder think 塊（#31380），並在提示結束標記上結束推理預算強制（#31374）
chat：允許在 gpt-oss 最終通道之後使用約束型別（#31556）；common：修復較長量化名稱內的-hf 標籤匹配（#31620），並限制控制向量層索引（#31336）
tools：在 GGUF 拆分合並中拒絕不匹配的分片（#31579），修復 imatrix --nextn 崩潰（#31522），修復 gguf-py np_roundf 丟失符號（#31310）
vendor：miniaudio 0.11.26（#31459）和 cpp-httplib 0.64.0（#31400）；在所有 Windows 執行檔中嵌入應用清單（#31329）
多模態變更
新增 Chatterbox TTS 支援（#30993）
新增 Nemotron 3.5 Transcribe 支援：支援 40 種語言的離線轉錄，帶提示上下文和說話人歸屬（#31471）
Pocket TTS：支援預定義語音而無需語音克隆（#31429）
準確支援 qwen3-vl 影片提示格式（#31619）
調整 Gemma 4 影像大小而不使用 letterbox 填充（#30922），並修復 InternVL CLS token 順序（#30886）
伺服器變更
在首個輸出處限制共享決策字首（#30710）
為長於 n_rs_seq 的草稿恢復投機檢查點（#31350）
UI 變更
在工具設定中新增 MCP 組核取方塊（#31303），並在啟動時請求持久儲存（#31299）
保持聊天在底部，直到讀者向上滾動（#31311），並在輸入有內容時顯示提交按鈕（#31324）
從徽標處顯示摺疊的側邊欄（#31307），並對齊警報對話方塊樣式（#31312）
將排隊的引導訊息保留在其各自的對話中（#31304），併為從未返回的工具呼叫顯示中斷狀態（#31314）
disable model deletion the server would refuse ( #31305 ) and prefer a loading model in pre-selection ( #31326 )
add a Playwright harness for recording demo videos ( #31318 ) and run local browser tests in installed Chrome ( #31596 )
ggml changes
v0.29.0 : ggml v0.29.0 adds an OCP FP8 E4M3 tensor type, a new ggml_flash_attn_ext_rows op where each query slice attends to its own list of K/V rows, a batched tensor copy API, and initial support for multi-node tensor parallelism through a new multi-process communicator interface. Core improvements include bounding tensor views by the bytes their strides reach, zero-copy GGUF export of host-buffer tensors, and vm_allocate -based allocations on Apple platforms. Performance work spans all major backends: new SVE kernels in the CPU backend, DPAS flash attention for quantized KV in SYCL, fused MoE MMQ in CUDA, faster MXFP4 mat-vec in Metal, split-K tuning in Vulkan, and a large expansion of quantized GEMM/GEMV coverage in OpenCL. The Hexagon backend gains support for several new ops, including the lightning indexer, top-k mask, conv2d and upscale.
Assets
Nightly build: b12110
More info
Releases and versioning of ggml-org projects
Changelog since v0.8.0
cd959ba llama.cpp : bump version to 0.9.0 ( #31646 )
13ec8f6 sync : ggml
cca14f6 ggml : bump version to 0.29.0 (ggml/1680)
e853ec9 llama : follow ctx_other devices and flash attention in Gemma4 assistant ( #31635 )
feaf800 ggml : Gate RVV code on the target extension ( #31607 )
4c4ca5b common : do not allow _ in sidecar ( #31639 )
162e2bb ggml : fix bf16 ( #31609 )
6900fb5 opencl: improve q2_0 GEMV for Adreno ( #31577 )
bbb02c9 ggml: bound views by the bytes their strides reach ( #31584 )
960b1d5 ggml : write host-buffer tensor data directly in gguf writer ( #31144 )
4b29d02 common : fix -hf tag matching inside longer quant names ( #31620 )
bee2332 hexagon: add LIGHTNING_INDEXER support ( #31289 )
149f564 mtmd: accurate support for qwen3-vl video prompt format ( #31619 )
b976279 model, mtmd: add chatterbox TTS support ( #30993 )
7071ba3 hexagon: add TOP_K_MASK op ( #31552 )
6cb3e67 gemma4: graph optimizations (massive gains on pp for E2B and E4B) ( #31356 )
6b9c0cf hexagon: faster TOP_K for the backend sampler ( #31279 )
d1c4e5b ui: run local browser tests in installed Chrome with its sandbox on ( #31596 )
20a51f2 hexagon: add DSV4_HC_PRE and DSV4_HC_POST ops ( #30953 )
0f35d6d spec : save and restore MTP hidden state ( #30141 )
- a464960 ggml-zdnn：修復 fattn 測試失敗（#31583）
- 9309bf1 model：新增對 Metis-1.6 模型的支援（#31134）
- d1044bc model：啟用 NVFP4 LFM3 ggufs（#31608）
- 28b812d mtmd：新增 Nemotron 3.5 Transcribe 支援（#31471）
- 749db7f qwen4exp：寫入 conv state 尾部時不使用中間 cont（#31443）
- 0943ca5 ui：新增用於錄製演示影片的 Playwright harness（#31318）
- f9448cd model：在 LFM3 中記錄層輸入以用於 spec dec（#31598）
- 0978a6e ggml：避免 ggml_roll 邊界檢查中的有符號溢位（#30375）
- 0ef2730 conversion：在 _flush_nvfp4_experts 中使用原始模型張量名稱（#31427）
- 8fc0376 cuda：Q8_1 校正求和的潛在修復（#31247）
- 740251a cuda：將批處理張量讀取集中到對映的主機記憶體中（PR to master）（#31391）
- 71efc55 為多節點張量並行新增 nccl 支援（#28967）
- 19e8a86 tools：在 GGUF 拆分合並中拒絕不匹配的分片（#31579）
- 259d917 meta：支援 GLM-5.3 next sm tensor（#30499）
- 36ee3ca metal：修復第 0 維目標非連續時的 cpy 核心（#31581）
- fac3a89 vulkan：對非計算張量跳過 maxStorageBufferRange 預檢查（#31114）
- b74298c delta_net_base：重構 conv state（#30878）
- 37b0f9c vulkan：修復 NVFP4 UE4M3 縮放查詢越界（#31079）
- ca8daad llama：從 llm_attn_mask 中刪除冗餘的 cnv（#31558）
- 0f663d2 dsv4.1：修復部分解除安裝下的 llama-context 測試（#31292）
- 00f113e cuda：防止即將使用的圖被過早驅逐（#30662）
- e6192de opencl：新增初始 iq4_xs 支援（#31339）
- 4402e65 chat：允許在 gpt-oss 最終通道之後使用約束型別（#31556）
- 74101b3 ci：更新 kv_rows FA 核心引數的 HIP VGPR 溢位忽略列表（#31550）
- 713319e webgpu：新增 ARANGE 支援（#31455）
- ee17f29 kv-cache：對於沒有 cell 的序列，絕不返回 0 kv_rows（#31570）
- 51fe42c hexagon：分塊 hvx permute（#31446）
- 2cbca38 dflash：通過裝置複製複製隱藏特徵（#31506）
- 29c720e docs：更新 s390x 建置文件（#31546）
- d02b4c0 mtmd：Pocket tts - 支援無需語音克隆的語音（#31429）
- e4b6c8c model：新增 Clover 支援（#31306）
- 1b6935b llama：flash_attn_ext_rows - 為多序列提供更高效的統一 kv（#29510）
- 3f8af15 imatrix：修復 --nextn 崩潰（#31522）
- cd8427d context：簡化 setter（#29730）
- 6b00d56 readme：修復 README.md 中維護者 PR 的連結（#31487）
- 458fcfc docs：CANN 後端在 910B 上支援 BF16，記錄 GGML_CANN_NO_PINNED（#31249）
- 6ed8120 ggml-zdnn：與主機共享緩衝區（#31481）
- ea24b95 ggml：在所有 Apple 平台上使用 vm_allocate 代替 posix_memalign（#31437）
- 84d9ce0 opencl：新增 topk_mask（#31441）
- dcbb091 vulkan：新增張量並行 allreduce 函式（#25051）
- 07ec7c8 vulkan：改進 RDNA3 和 RDNA4 上的小 n split-K 選擇（#30146）
- cb02250 vulkan：清零跳過行時避免冗餘掃描（#31266）
- 2c93f0b sycl：在 Intel Arc Pro B70 上實現快速 ggml_sycl_comm_exchange()（#30956）
- 5e18eb0 sycl：dmmv 程式碼清理（#31325）
- 5c2ea1a ui：停用伺服器會拒絕的模型刪除操作（#31305）
- 23426d7 ui：使警告對話方塊樣式與其他覆蓋層表面保持一致（#31312）
- 90080ce ui：將排隊的引導訊息保留在其各自的對話中（#31304）
- 64be95b ui：為從未返回的工具呼叫顯示中斷狀態（#31314）
- b12b405 ui：選擇時不要重新載入正在載入的模型，優先在預選中使用它（#31326）
- aac6da8 docs：修復 build.md 中的 Vulkan 範例命令（#31530）
- 00ef136 tests：合併相同的 if 分支（#31523）
- 5969566 jinja：實現 map('filter')（#24033）
- a7a490a ggml：修復使用 AVX512 BF16 時的 clang-cl 建置（#31276）
- f72dc30 docs：修復 Huawei ascend 品牌名稱（#31463）
- fcfe4b5 requirements：針對 Python 3.14 wheels 的小幅調整（#31534）
- 4e910a8 cmake：新增顯式執行緒連結（#31414）
- 1c5ed70 webgpu：通過保持臨時分配大小隨批次長度單調遞增來修復 CI（#31422）
- 785322d requirements：修復 numpy 依賴（#31508）
- dde879b sycl：嘗試使用 PkgConfig 查詢 LevelZero 標頭檔案/庫（#31076）
- 060b2fe opencl：新增初步的 iq3 支援（#31338）
- a91eab6 hexagon：修復步長大於 24 位的 DMA 傳輸（#31442）
- d5ef408 mtmd：修復 InternVL CLS token 順序（#30886）
- 79bce0c tests：在 test-llama-archs 中啟用 Gemma 4（#31401）
- bc428e4 llama：為 LFM3 啟用張量分割（#31431）
- f6312ad vendor：將 miniaudio 更新至 0.11.26（#31459）
- 0138937 llama：修復共享 KV 的層中注意力張量的旋轉（#31406）
- ddf48f8 重塑，使 lfm sc 的 mm 在 2D 而非 3D 張量上執行（#30831）
- f3586e6 server：將共享決策字首限制在第一個輸出處（#30710）
- 2871678 server：修復 /v1/responses 端點以接受 extra_params（#30959）
- 7bd1808 mtmd：調整 Gemma 4 影像大小而不使用信箱填充（#30922）
- 0ec4027 opencl：新增 fwht（#31434）
- 1052f7e chat：在 reasoning_format 為 none 時去除 qwen3-coder 中的 think 塊（#31380）
- 8956c76 sycl：修復 CPY 中 f32 到 q2_0/q4_0/q5_0 的舍入問題 ( #31120 )
- 5047748 rpc：刪除 fs_path_to_utf8() ( #31424 )
- 792fcf4 opencl：新增初始 iq1 支援 ( #31341 )
- a34de86 common：刪除 fs_path_to_utf8() ( #31423 )
- aa588a3 common：移除 Windows argv 重建 ( #31417 )
- 889f2ec quant：允許對 LFM3-Audio codec decoder 進行量化 ( #31386 )
- 1ab23c3 vendor：將 cpp-httplib 更新至 0.64.0 ( #31400 )
- 27b8464 ci：在 Windows 行為檢查中新增缺失的 ccache-clear ( #31413 )
- d63fbfe cmake：在所有 Windows exe 中嵌入應用清單 ( #31329 )
- e216f4e ci：將大多數 Apple 作業提取到每日工作流中 ( #31408 )
- 344846b gemma3n, gemma4：在 tied output 之前建立 token_embd ( #31394 )
- fb59972 kv-cache：將旋轉常量保留在 GPU 上 ( #31073 )
- ab3768c memory：拒絕回滾超過最後一個 ubatch 的快照 ( #31368 )
- e0f142d opencl：新增初始 q2_0 支援 ( #31340 )
- 3c809f4 common：在來自 prompt 的結束標籤上結束推理預算強制 ( #31374 )
- 36a0e2f sycl：FLASH_ATTN_EXT 失敗 ( #30761 )
- 418f905 ggml：新增批次張量複製 API ( #30881 )
- eb4e244 ROCm/HIP：為 gfx1170/gfx1171 新增 RDNA4_M 系列 ( #31373 )
- 68d20b8 Quant：OCP FP8 E4M3 支援 ( #27512 )
- 0893ec9 skills：指定關於 ggml_build_forward_expand 的規則 ( #31375 )
- 78feec0 模型：mistral le chonk ( #31376 )
- 0ac1a7f llama：重用張量暫存緩衝區並跳過 direct-io bounce buffer ( #31321 )
- 7df8b87 server：為長於 n_rs_seq 的草稿恢復 spec checkpoint ( #31350 )
- 8ab29fa ui：保持聊天在底部，直到讀者向上滾動 ( #31311 )
- f5d4d75 ui：當聊天輸入有內容時顯示提交按鈕 ( #31324 )
- 3ed915e ui：從其 logo 展開摺疊的側邊欄並在那裡切換它 ( #31307 )
- f8fcef2 ui：在工具設定中新增 MCP 組核取方塊並修復不確定核取方塊顏色 ( #31303 )
- b7cde58 ui：在啟動時請求持久儲存 ( #31299 )
- 3dd0f60 doc：更新 opencl 的 ops ( #31347 )
- 78febba HIP/CUDA：在 CDNA 上啟用稀疏 attn ( #31259 )
- abb76ab 模型：支援 Limite 1B - Violetto ( #29433 )
- 41be0bd common：為 SpaceMiT 預設執行緒選擇 A100 核心 ( #30284 )
- 22183e5 opencl：初始支援 iq2 ( #31267 )
- 6d19453 metal：更快的 MXFP4 mat-vec，一元/二元/GLU 的完整執行緒組 ( #31075 )
- fade717 tests：移除 #31125 中新增的重複 FA 測試用例 ( #31357 )
- c9daee1 ggml-metal：修復較舊 Metal 工具鏈上一元核心的編譯 ( #31360 )
8a199ad hexagon：支援 UPSCALE 操作 (#31331)
da6c30a hexagon：改善轉置 CONCAT 中的 DDR 頻寬利用率 (#31277)
f7c01c5 [SYCL] 為量化 KV cache 新增 DPAS flash attention 核心 (#31125)
bf48103 sycl：向量化重排佈局反量化儲存（Q4_0、K-quants、IQ3、MXFP4）(#30976)
6d5ac3c tests：修復 comp_padding CUDA graph 預留 (#31344)
7ac5727 ggml-openvino：切片 SCALE 的檢視輸入 (#31334)
2e0d86b Hexagon：IM2COL 改進 - 基於塊的 HVX 並行化 (#31050)
e09a78a tests：修復 server cancel 和 sleep 測試中的 CI 偶發失敗 (#31330)
369dcf3 ggml-cpu：新增 ggml_gemv_q8_0_4x8_q8_0 的 SVE 實現 (#30585)
d0ff631 docs：修復 DSpark 置信度閾值標誌名稱（--spec-draft-p-min）(#31178)
cf24317 common, mtmd：限制控制向量層索引和 M-RoPE 位置迴圈 (#31336)
74a4fb0 opencl：為 adreno 新增分塊 q4_k GEMM (#30412)
5220213 hexagon：新增 conv2d 支援 (#30995)
c3df4b7 通過預計算中點加速 IQ4 量化建立 (#31201)
ac8e169 ggml-cpu：gemm_q6_K_8x8_q8_K 核心的 SVE 256 位實現 (#27472)
c02b5c6 ggml-cpu：mxfp4 gemv 核心的 SVE 256 位實現 (#28141)
ff0d396 ci(s390x)：切換到 Ubuntu 26.04 runner (#31317)
838093f llama：移除 DSV4 的簡單批處理拆分 (#31300)
604cc43 codeowners
由 AI 翻譯，以原文為準。
原文
Overview
This release adds OCP FP8 E4M3 quantization support, a new flash_attn_ext_rows op that makes the unified KV cache efficient for multi-sequence inference, and a generic batched tensor copy API. Four new architectures are supported (Clover, Limite, Metis-1.6 and Mistral Large 4), audio generation and transcription expand with Chatterbox TTS, Nemotron 3.5 Transcribe and predefined Pocket TTS voices, and the Gemma 4 E2B/E4B models get major prefill optimizations. ggml is updated to v0.29.0, bringing FP8 E4M3, flash attention rows, NCCL-based multi-node tensor parallelism and performance work across the CPU, CUDA, SYCL, Metal, Vulkan, OpenCL and Hexagon backends. The server and UI receive a round of fixes and refinements.
Highlights
Quant: OCP FP8 E4M3 tensor type (saturating mode) with conversion helpers and a new ftype ( #27512 )
llama: flash_attn_ext_rows - more efficient unified KV for multi-seq, restoring non-unified KV prefill performance ( #29510 )
ggml: batched tensor copy API ( ggml_backend_tensor_copy_n / set_n / get_n ) superseding the _2d API, implemented for Metal and CUDA ( #30881 )
For a 3rd year in a row, llama.cpp is a featured repo in the Github Octoverse report :
API changes
llama.h: add LLAMA_FTYPE_MOSTLY_F8_E4M3 ( #27512 )
mtmd.h: add MTMD_GEN_AUDIO_TYPE_CHATTERBOX and n_voices to mtmd_gen_audio_info ( #30993 )
mtmd.h: add predefined-voice APIs: mtmd_gen_audio_voice_name() , mtmd_gen_audio_get_voice() , mtmd_gen_state_set_ref() ( #30993 )
mtmd.h: add mtmd_bitmap_is_voice() and mtmd_gen_audio_read_tensor() ( #30993 )
mtmd.h: add MTMD_VIDEO_TEMPLATE_QWEN3VL video prompt template ( #31619 )
server: GET /props reports the model's predefined TTS voices ; the TTS endpoint accepts predefined voice names ( #30993 )
server: /v1/responses now merges extra_params (seed, min_p, ...) into the converted chat-completions response ( #30959 )
New models
Clover-35B-A3B-Preview diffusion model, AR mode ( #31306 )
Limite 1B - Violetto ( #29433 )
Metis-1.6 (Praxis ~2.9B and Logos ~10.2B): hybrid Mamba-2 / GQA attention with fixed-depth recurrence and LatentMoE ( #31134 )
Mistral Large 4 ( #31376 )
Core changes
gemma4: graph optimizations with massive prefill gains for E2B and E4B ( #31356 ); create token_embd before the tied output in gemma3n and gemma4 ( #31394 )
LFM3: enable NVFP4 GGUFs ( #31608 ), enable tensor split ( #31431 ), quantize the audio codec decoder ( #31386 )
spec dec: save and restore MTP hidden state in context checkpoints ( #30141 ) and record LFM3 layer inputs ( #31598 )
dflash: copy hidden features via device copies ( #31506 ); qwen4exp: write the conv state tail without an intermediate cont ( #31443 )
model loading: reuse the tensor staging buffer and skip the direct-IO bounce buffer ( #31321 )
kv-cache: keep Hadamard rotation constants on the GPU ( #31073 ) and fix attention tensor rotation in layers with shared KV ( #31406 )
kv-cache: never return 0 kv_rows for sequences without cells ( #31570 ) and refuse rollbacks past the snapshots of the last ubatch ( #31368 )
Gemma4 MTP assistant: follow ctx_other devices and flash-attention setting ( #31635 ); DSV4: remove simple batch splitting ( #31300 )
chat: strip the qwen3-coder think block with reasoning_format none ( #31380 ) and end reasoning budget forcing on a prompt end tag ( #31374 )
chat: allow a constraint type after the gpt-oss final channel ( #31556 ); common: fix -hf tag matching inside longer quant names ( #31620 ) and bound control vector layer indices ( #31336 )
tools: reject mismatched shards in GGUF split merge ( #31579 ), fix imatrix --nextn crash ( #31522 ), fix gguf-py np_roundf dropping the sign ( #31310 )
vendor: miniaudio 0.11.26 ( #31459 ) and cpp-httplib 0.64.0 ( #31400 ); embed an app manifest in all Windows executables ( #31329 )
Multi-modality changes
add Chatterbox TTS support ( #30993 )
add Nemotron 3.5 Transcribe support: offline transcription in 40 languages with prompt context and speaker attribution ( #31471 )
Pocket TTS: support predefined voices without voice cloning ( #31429 )
accurate support for the qwen3-vl video prompt format ( #31619 )
resize Gemma 4 images without letterbox padding ( #30922 ) and fix InternVL CLS token order ( #30886 )
Server changes
cap shared decision prefixes at the first output ( #30710 )
restore the speculative checkpoint for drafts longer than n_rs_seq ( #31350 )
UI changes
add MCP group checkboxes in the tools settings ( #31303 ) and request persistent storage on startup ( #31299 )
keep chats at the bottom until the reader scrolls up ( #31311 ) and show the submit button when the input has content ( #31324 )
reveal the collapsed sidebar from its logo ( #31307 ) and align alert dialog styling ( #31312 )
keep queued steering messages in their own conversation ( #31304 ) and show an interrupted state for tool calls that never returned ( #31314 )
disable model deletion the server would refuse ( #31305 ) and prefer a loading model in pre-selection ( #31326 )
add a Playwright harness for recording demo videos ( #31318 ) and run local browser tests in installed Chrome ( #31596 )
ggml changes
v0.29.0 : ggml v0.29.0 adds an OCP FP8 E4M3 tensor type, a new ggml_flash_attn_ext_rows op where each query slice attends to its own list of K/V rows, a batched tensor copy API, and initial support for multi-node tensor parallelism through a new multi-process communicator interface. Core improvements include bounding tensor views by the bytes their strides reach, zero-copy GGUF export of host-buffer tensors, and vm_allocate -based allocations on Apple platforms. Performance work spans all major backends: new SVE kernels in the CPU backend, DPAS flash attention for quantized KV in SYCL, fused MoE MMQ in CUDA, faster MXFP4 mat-vec in Metal, split-K tuning in Vulkan, and a large expansion of quantized GEMM/GEMV coverage in OpenCL. The Hexagon backend gains support for several new ops, including the lightning indexer, top-k mask, conv2d and upscale.
Assets
Nightly build: b12110
More info
Releases and versioning of ggml-org projects
Changelog since v0.8.0
cd959ba llama.cpp : bump version to 0.9.0 ( #31646 )
13ec8f6 sync : ggml
cca14f6 ggml : bump version to 0.29.0 (ggml/1680)
e853ec9 llama : follow ctx_other devices and flash attention in Gemma4 assistant ( #31635 )
feaf800 ggml : Gate RVV code on the target extension ( #31607 )
4c4ca5b common : do not allow _ in sidecar ( #31639 )
162e2bb ggml : fix bf16 ( #31609 )
6900fb5 opencl: improve q2_0 GEMV for Adreno ( #31577 )
bbb02c9 ggml: bound views by the bytes their strides reach ( #31584 )
960b1d5 ggml : write host-buffer tensor data directly in gguf writer ( #31144 )
4b29d02 common : fix -hf tag matching inside longer quant names ( #31620 )
bee2332 hexagon: add LIGHTNING_INDEXER support ( #31289 )
149f564 mtmd: accurate support for qwen3-vl video prompt format ( #31619 )
b976279 model, mtmd: add chatterbox TTS support ( #30993 )
7071ba3 hexagon: add TOP_K_MASK op ( #31552 )
6cb3e67 gemma4: graph optimizations (massive gains on pp for E2B and E4B) ( #31356 )
6b9c0cf hexagon: faster TOP_K for the backend sampler ( #31279 )
d1c4e5b ui: run local browser tests in installed Chrome with its sandbox on ( #31596 )
20a51f2 hexagon: add DSV4_HC_PRE and DSV4_HC_POST ops ( #30953 )
0f35d6d spec : save and restore MTP hidden state ( #30141 )
a464960 ggml-zdnn: fix fattn test failure ( #31583 )
9309bf1 model : Add support for Metis-1.6 models ( #31134 )
d1044bc model : enable NVFP4 LFM3 ggufs ( #31608 )
28b812d mtmd : add Nemotron 3.5 Transcribe support ( #31471 )
749db7f qwen4exp: write the conv state tail without an intermediate cont ( #31443 )
0943ca5 ui: add Playwright harness for recording demo videos ( #31318 )
f9448cd model : record layer inputs in LFM3 for spec dec ( #31598 )
0978a6e ggml: avoid signed overflow in ggml_roll bounds check ( #30375 )
0ef2730 conversion : use original model tensor names in _flush_nvfp4_experts ( #31427 )
8fc0376 cuda: potential fix for Q8_1 correction sum ( #31247 )
740251a cuda : gather batched tensor reads into mapped host memory (PR to master) ( #31391 )
71efc55 Add nccl support for multi-node tensor parallelism ( #28967 )
19e8a86 tools : reject mismatched shards in GGUF split merge ( #31579 )
259d917 meta: support GLM-5.3 next sm tensor ( #30499 )
36ee3ca metal : fix cpy kernel for dst non-contiguous in dim 0 ( #31581 )
fac3a89 vulkan: skip maxStorageBufferRange pre-check for non-compute tensors ( #31114 )
b74298c delta_net_base: refactor conv state ( #30878 )
37b0f9c vulkan: fix out-of-bounds NVFP4 UE4M3 scale lookup ( #31079 )
ca8daad llama : drop the redundant cnv from llm_attn_mask ( #31558 )
0f663d2 dsv4.1: fix llama-context tests with partial offload ( #31292 )
00f113e cuda : prevent premature eviction of graphs about to be used ( #30662 )
e6192de opencl: add initial iq4_xs support ( #31339 )
4402e65 chat : allow constraint type after gpt-oss final channel ( #31556 )
74101b3 ci : update the HIP VGPR spill ignore list for the kv_rows FA kernel argument ( #31550 )
713319e webgpu: add ARANGE support ( #31455 )
ee17f29 kv-cache : never return 0 kv_rows for sequences without cells ( #31570 )
51fe42c hexagon: tiled hvx permute ( #31446 )
2cbca38 dflash: copy hidden features via device copies ( #31506 )
29c720e docs: update s390x build docs ( #31546 )
d02b4c0 mtmd: Pocket tts - support for voices without voice cloning ( #31429 )
e4b6c8c model: add Clover support ( #31306 )
1b6935b llama : flash_attn_ext_rows - more efficient unified kv for multi-seq ( #29510 )
3f8af15 imatrix : fix --nextn crash ( #31522 )
cd8427d context : simplify setters ( #29730 )
6b00d56 readme : fix links in README.md for maintainer PRs ( #31487 )
458fcfc docs: CANN backend supports BF16 on 910B, document GGML_CANN_NO_PINNED ( #31249 )
6ed8120 ggml-zdnn: share buffers with host ( #31481 )
ea24b95 ggml : use vm_allocate instead of posix_memalign on all Apple platforms ( #31437 )
84d9ce0 opencl: add topk_mask ( #31441 )
dcbb091 vulkan: add tensor-parallel allreduce function ( #25051 )
07ec7c8 vulkan: improve small-n split-K selection on RDNA3 and RDNA4 ( #30146 )
cb02250 vulkan: avoid redundant scans when zeroing skipped rows ( #31266 )
2c93f0b sycl : fast ggml_sycl_comm_exchange() on Intel Arc Pro B70s ( #30956 )
5e18eb0 sycl: dmmv code cleanup ( #31325 )
5c2ea1a ui: disable model deletion the server would refuse ( #31305 )
23426d7 ui: align alert dialog styling with other overlay surfaces ( #31312 )
90080ce ui: keep queued steering messages in their own conversation ( #31304 )
64be95b ui: show interrupted state for tool calls that never returned ( #31314 )
b12b405 ui: don't reload a loading model on select, prefer it in pre-selection ( #31326 )
aac6da8 docs : fix Vulkan example command in build.md ( #31530 )
00ef136 tests : merge identical if branches ( #31523 )
5969566 jinja : implement map('filter') ( #24033 )
a7a490a ggml : fix clang-cl build with AVX512 BF16 ( #31276 )
f72dc30 docs: fix Huawei ascend brand ( #31463 )
fcfe4b5 requirements : minor adjustments for python 3.14 wheels ( #31534 )
4e910a8 cmake : add explicit thread linkage ( #31414 )
1c5ed70 webgpu : fix CI by keeping scratch alloc sizes monotonic in batch length ( #31422 )
785322d requirements : fix numpy dependencies ( #31508 )
dde879b sycl: Try PkgConfig for LevelZero includes / libs ( #31076 )
060b2fe opencl: add initial iq3 support ( #31338 )
a91eab6 hexagon : fix DMA transfers with strides > 24 bits ( #31442 )
d5ef408 mtmd : fix InternVL CLS token order ( #30886 )
79bce0c tests : enable Gemma 4 in test-llama-archs ( #31401 )
bc428e4 llama : enable tensor split for LFM3 ( #31431 )
f6312ad vendor : update miniaudio to 0.11.26 ( #31459 )
0138937 llama : fix rotation of attention tensors in layers with shared KV ( #31406 )
ddf48f8 reshaping so mm on 2d instead of 3d tensor for lfm sc ( #30831 )
f3586e6 server: cap shared decision prefixes at the first output ( #30710 )
2871678 server : fix /v1/responses endpoint to accept extra_params ( #30959 )
7bd1808 mtmd : resize Gemma 4 images without letterbox padding ( #30922 )
0ec4027 opencl: add fwht ( #31434 )
1052f7e chat : strip the think block in the qwen3-coder with reasoning_format none ( #31380 )
8956c76 sycl: fix f32 to q2_0/q4_0/q5_0 rounding in CPY ( #31120 )
5047748 rpc : delete fs_path_to_utf8() ( #31424 )
792fcf4 opencl: add initial iq1 support ( #31341 )
a34de86 common : delete fs_path_to_utf8() ( #31423 )
aa588a3 common : drop the Windows argv reconstruction ( #31417 )
889f2ec quant : allow quantization for LFM3-Audio codec decoder ( #31386 )
1ab23c3 vendor : update cpp-httplib to 0.64.0 ( #31400 )
27b8464 ci : add missing ccache-clear to windows behavior check ( #31413 )
d63fbfe cmake : embed an app manifest in all Windows exes ( #31329 )
e216f4e ci : extract most apple jobs into daily workflow ( #31408 )
344846b gemma3n, gemma4 : create token_embd before the tied output ( #31394 )
fb59972 kv-cache : keep rotation constants on the GPU ( #31073 )
ab3768c memory: refuse rollbacks past the snapshots of the last ubatch ( #31368 )
e0f142d opencl: add initial q2_0 support ( #31340 )
3c809f4 common : end reasoning budget forcing on an end tag from the prompt ( #31374 )
36a0e2f sycl: FLASH_ATTN_EXT failures ( #30761 )
418f905 ggml : add batched tensor copy API ( #30881 )
eb4e244 ROCm/HIP: add RDNA4_M family for gfx1170/gfx1171 ( #31373 )
68d20b8 Quant: OCP FP8 E4M3 support ( #27512 )
0893ec9 skills: specify rule about ggml_build_forward_expand ( #31375 )
78feec0 model: mistral le chonk ( #31376 )
0ac1a7f llama : reuse the tensor staging buffer and skip the direct-io bounce buffer ( #31321 )
7df8b87 server : restore the spec checkpoint for drafts longer than n_rs_seq ( #31350 )
8ab29fa ui: keep chats at the bottom until the reader scrolls up ( #31311 )
f5d4d75 ui: show submit button when the chat input has content ( #31324 )
3ed915e ui: reveal the collapsed sidebar from its logo and toggle it there ( #31307 )
f8fcef2 ui: add MCP group checkboxes in tools settings and fix indeterminate checkbox colors ( #31303 )
b7cde58 ui: request persistent storage on startup ( #31299 )
3dd0f60 doc: update ops for opencl ( #31347 )
78febba HIP/CUDA: enable sparse attn on CDNA ( #31259 )
abb76ab model : Support Limite 1B - Violetto ( #29433 )
41be0bd common: select A100 cores for SpaceMiT default threads ( #30284 )
22183e5 opencl: initial support for iq2 ( #31267 )
6d19453 metal : faster MXFP4 mat-vec, full threadgroups for unary/binary/GLU ( #31075 )
fade717 tests : remove duplicate FA test cases added in #31125 ( #31357 )
c9daee1 ggml-metal : fix unary kernels compile on older Metal toolchains ( #31360 )
8a199ad hexagon: support for UPSCALE op ( #31331 )
da6c30a hexagon: improve DDR bw utilization in transposed CONCAT ( #31277 )
f7c01c5 [SYCL] add DPAS flash attention kernel for quantized KV cache ( #31125 )
bf48103 sycl : vectorize reordered-layout dequantization stores (Q4_0, K-quants, IQ3, MXFP4) ( #30976 )
6d5ac3c tests : fix comp_padding CUDA graph reservation ( #31344 )
7ac5727 ggml-openvino: slice view inputs of SCALE ( #31334 )
2e0d86b Hexagon: IM2COL improvement - block based HVX parallelization ( #31050 )
e09a78a tests: fix CI flakes in server cancel and sleep tests ( #31330 )
369dcf3 ggml-cpu: add SVE implementation of ggml_gemv_q8_0_4x8_q8_0 ( #30585 )
d0ff631 docs : fix DSpark confidence threshold flag name (--spec-draft-p-min) ( #31178 )
cf24317 common, mtmd: bound control vector layer indices and M-RoPE position loops ( #31336 )
74a4fb0 opencl: add tiled q4_k GEMM for adreno ( #30412 )
5220213 hexagon: add conv2d support ( #30995 )
c3df4b7 Speed up IQ4 quant creation with pre-computed halfway points ( #31201 )
ac8e169 ggml-cpu: SVE 256 bit implementation of gemm_q6_K_8x8_q8_K kernel ( #27472 )
c02b5c6 ggml-cpu: SVE 256-bit Implementation of mxfp4 gemv kernel ( #28141 )
ff0d396 ci(s390x): switch to Ubuntu 26.04 runners ( #31317 )
838093f llama : remove simple batch splitting for DSV4 ( #31300 )
604cc43 codeowners : refresh teams and maintainer PRs link ( #31316 )
39febd2 sycl: work-group argmax for short TOP_K rows ( #31110 )
f5222f2 cuda: fuse MoE (MUL_MAT_ID) gate/up and GLU in MMQ ( #31188 )
28cb47c gguf-py: fix np_roundf dropping the sign ( #31310 )
相關報導
llama.cpp releases● 精選AI 評分62
llama.cpp b12000 支援 OCP FP8 E4M3 量化
llama.cpp 發布 b12000，新增 OCP FP8 E4M3 支援，覆蓋模型轉換、CPU 推理與 gguf-py 工具鏈，並修復 RedHatAI/Qwen3.8-27B-NVFP4 的轉換問題。轉換路徑補齊了 FP8 權重與 input_scales 的處理，改為結合 dtype 判斷，避免按行 FP8 被誤判走 NVFP4。
llama.cpp releasesAI 評分37
llama.cpp 發布 b11402，CUDA 後端改用整塊 FlashAttention 排程
llama.cpp 發布 b11402 版本，CUDA 後端改為優先採用整塊（whole-tile）FlashAttention 排程，以提升兩階段核心效率。
llama.cpp releases● 精選AI 評分82
llama.cpp v0.6.0 發布：新增擴充套件 batch API 與 GLM-5.3-Flash 支援
llama.cpp 發布 v0.6.0，新增 llama_batch_ext 擴充套件 batch API，支援混合 token/embedding 輸入與 MTP、deepstack 狀態嵌入。本次加入 320B 的 GLM-5.3-Flash（GLM5-Next）文字+視覺混合模型、Clef 決策模型，以及 Qwen4Exp 的 MTP 投機解碼，官方稱在 DGX Spark 上解碼約快 1.5 倍。
llama.cpp releasesAI 評分41
llama.cpp b11799 為 SYCL 後端加入 q8 快速反量化
llama.cpp 發布 b11799 建置，新增 SYCL 後端的 q8 快速反量化（#30775），可提升 Intel GPU 上量化模型的推理效率。該版本同時提供 macOS、Linux、Windows、Android 的多平台預編譯包，涵蓋 CUDA 12、CUDA 13、ROCm 10.0、Vulkan、OpenVINO 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 版本；SYCL 建置則分為 FP32 與 FP16 兩版。
llama.cpp releasesAI 評分43
llama.cpp b11515：SYCL 加入 Q5_K 重排 MMVQ 與融合 GLU
llama.cpp 發布 b11515，主要變更是 SYCL 後端為 Q5_K 量化補上重排佈局的 MMVQ 核心，並加入融合 GLU（#29375），面向 Intel GPU 的量化推理。建置矩陣照舊覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，包含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16 等後端；