推理框架 v0.32.0 發布，新增 816B NVFP4 MoE 模型與 MiniCPM5 工具解析器
推理框架 v0.32.0 發布，最值得注意的是新增 meta-models/Muse-Spark-Open-816B-A42B-NVFP4 模型支援，併為 NVFP4 量化 MoE 加入全域性縮放。同版本還新增 MiniCPM5 工具呼叫解析器、Hadamard 旋轉的 2-bit Qwen3.5（prism_hadamard_qwen35）、Qwen3.5 並行 head，並支援未轉換的模型權重。
一次版本更新同時補上 816B NVFP4 MoE 大模型、MiniCPM5 工具呼叫解析與 2-bit Qwen3.5 支援，並修掉 MiniMax M3 長生成崩潰等缺陷，對自建推理服務的開發者最有參考價值。
原標題：v0.32.0
閱讀原文
| 評分 | 45 / 68（平均 56，門檻 60） |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp 的 OpenVINO 後端更新至 2026.4.1 並大幅最佳化 MoE 效能
ggml-openvino 後端更新到 2026.4.1，重點最佳化 Qwen3.5 MoE 推理效能，並新增推理效能分析、預設使用遠端輸出張量、磁碟快取模型直載（cache_only）等能力。在 Arc B390 上以 q4_asym64_all 重量化執行 gemma-4-26B-A4B，pp512 從 66.16 t/s 提升到 1608.73 t/s，tg128 從 25.94 提升到 26.46 t/s，困惑度基本不變。
Meta 開源 816B 多模態 MoE 模型 Muse Spark Open
Meta 發布開放權重模型 Muse Spark Open，採用混合專家架構，總引數約 816B、每 token 啟用約 42B，可輸入文字、影像、音訊和影片，輸出文字，上下文視窗最高 100 萬 token。模型針對 agentic coding 訓練，能閱讀程式碼庫、編寫與除錯程式碼並呼叫工具。官方提供 BF16 與 NVFP4 兩種權重，BF16 約 1.5TB，NVFP4 為 4 位精度、面向 NVIDIA Blackwell GPU。
llama.cpp b11540 發布：SYCL 加速 MXFP4 MoE 推理
llama.cpp 建置版本 b11540 發布，核心變更是 SYCL 後端通過算術解碼與權重重排加速 MXFP4 MoE 模型推理（PR #29809）。該版本同時提供 macOS、Linux、Windows、Android 與 openEuler 的預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16 等後端；
Janas-LLM 讓 32GB 筆記本跑 48GB 的 80B MoE 模型，速度快過 llama.cpp
新的 C 語言推理引擎 Janas-LLM 把 MoE 權重留在磁碟、按 token 從 NVMe SSD 流式讀取專家，在 32 GB 記憶體的筆記本上跑起了 48.4 GB 的 Qwen3-Next-80B。
llama.cpp b11572 新增 vLLM d3 模型支援
llama.cpp 發布 b11572，新增對 vLLM d3 模型的支援（d2 同步更新），並加入 pplx-decider 模型支援，同時澄清命名規則、加強校驗。該版本照例提供 macOS/iOS、Linux、Windows、Android、openEuler 的預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及驍龍 CPU/Adreno GPU/Hexagon NPU 等後端。