llama.cpp 新增 Clover MoE 模型支援
llama.cpp 建置 b12060 加入 Clover 模型支援，目前覆蓋的是 AR-only 的 Clover MoE。改動包含 GGUF 轉換、模型載入與因果混合注意力實現，複用共享注意力、迴圈狀態、MoE 與 LoRA 等既有元件；轉換指令碼用 filter_tensors 過濾 Clover 張量並統一採用標準 ssm_a 張量名，同時更新 test-llama-archs.cpp 架構測試。
llama.cpp 首次接入 Clover 架構，官方直接提供 GGUF 轉換與多平台建置，關注新模型本地推理與 llama.cpp 新架構支援的人可以據此判斷可用性。
原標題：b12060
閱讀原文
| 評分 | 68 / 58（平均 63，門檻 60） |
|---|---|
| 狀態 | 精選 |
全文翻譯
由 AI 翻譯，以原文為準。
原文
相關報導
llama.cpp b11507 支援 MoE 快取跨多 GPU
llama.cpp 發布 b11507 版本，新增 MoE 快取跨多張 GPU 的支援（PR #30112），可讓混合專家模型在多 GPU 環境下更充分地利用視訊記憶體。該版本同時更新了各平台預編譯產物，覆蓋 macOS Apple Silicon、iOS、Linux（CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO）、Windows、Android 以及 openEuler 等平台。
llama.cpp 新增 Kolibri-1 支援，78B 德語英語 MoE
llama.cpp 建置 b11709 加入對 Aleph-Alpha 的 Kolibri-1 支援。這是德語/英語雙語 MoE 推理模型，78B 總引數、每 token 啟用 3.46B，50 層、384 個路由專家加 1 個共享專家，注意力以 4 層滑動視窗（視窗 513）交替 1 層全注意力，GQA 為 48 查詢頭對 4 KV 頭。
llama.cpp v0.7.0 發布：MoE 專家快取最高帶來 2.2 倍解碼提速
llama.cpp 發布 v0.7.0，最核心的變化是新增主機記憶體 MoE 專家的 GPU 快取（--moe-cache-mib），專家改由裝置端 LRU 快取執行，專家解除安裝時解碼最高提速約 2.2 倍，且該快取可跨多張 GPU 共享。版本同時加入 LiliCorr 投機解碼與 GLM5-Next 的 MTP 投機解碼，並支援 K2 Horizon、Prism Bonsai 2 27B、EmbeddingGemma-2、MiniCPM-V 4.7 等一批新模型。
llama.cpp 為 CUDA 加入 384 專家的 Top-K MoE 融合
llama.cpp 發布 b11953 建置版本，CUDA 後端新增針對 384 個專家的 Top-K MoE 融合運算元（#31288），由 Codex 輔助完成，可加速此類稀疏 MoE 模型在 NVIDIA GPU 上的推理。該版本同步放出 macOS、Linux、Windows、Android 等多平台預編譯包，覆蓋 CUDA 12.8/13.4、ROCm 10.0、Vulkan、SYCL、OpenVINO 及驍龍 Adreno/Hexagon 等後端。
llama.cpp CUDA 融合 MoE 門控與 GLU，加速 MMQ 推理
llama.cpp 發布 b11962 建置，在 CUDA 的 MMQ 路徑中把 MoE（MUL_MAT_ID）的 gate/up 投影與 GLU 融合成一個運算元，減少中間結果的視訊記憶體讀寫與運算元呼叫開銷。