llama.cpp 新增 Kolibri-1 支援，78B 德語英語 MoE
llama.cpp 建置 b11709 加入對 Aleph-Alpha 的 Kolibri-1 支援。這是德語/英語雙語 MoE 推理模型，78B 總引數、每 token 啟用 3.46B，50 層、384 個路由專家加 1 個共享專家，注意力以 4 層滑動視窗（視窗 513）交替 1 層全注意力，GQA 為 48 查詢頭對 4 KV 頭。
Kolibri-1 的完整架構細節（78B MoE、4:1 滑動視窗、QK-RMSNorm、專家偏置路由）隨這次合入公開，FP8 檢查點無需額外程式碼即可在各平台載入，對在本地跑德語/英語推理模型的人有用。
原標題：b11709
閱讀原文
| 評分 | 60 / 64（平均 62，門檻 60） |
|---|---|
| 狀態 | 精選 |
全文翻譯
由 AI 翻譯，以原文為準。
原文
相關報導
Aleph Alpha 發布開源主權模型 Kolibri，78B 引數 Apache 2.0
德國 Aleph Alpha 於 2026 年 10 月 3 日發布開源權重模型 Kolibri，Apache 2.0 許可，權重已上 Hugging Face。它採用 MoE 架構，總引數 78.1B，每 token 僅啟用 3.46B，支援德語和英語，原生上下文 262,144 token，知識截止 2026 年 6 月 18 日。模型在德國和芬蘭基礎設施上從零訓練，使用 768 塊 NVIDIA B200，訓練約 24 萬億 token，其中德語佔比超五分之一。
llama.cpp v0.7.0 發布：MoE 專家快取最高帶來 2.2 倍解碼提速
llama.cpp 發布 v0.7.0，最核心的變化是新增主機記憶體 MoE 專家的 GPU 快取（--moe-cache-mib），專家改由裝置端 LRU 快取執行，專家解除安裝時解碼最高提速約 2.2 倍，且該快取可跨多張 GPU 共享。版本同時加入 LiliCorr 投機解碼與 GLM5-Next 的 MTP 投機解碼，並支援 K2 Horizon、Prism Bonsai 2 27B、EmbeddingGemma-2、MiniCPM-V 4.7 等一批新模型。
llama.cpp 建置 b11641：spec 新增 lilicorr 支援
llama.cpp 發布建置 b11641，其中 spec（推測解碼）新增 lilicorr 支援（PR #30506），是本次最主要的變更。同一批提交還讓 convert 採用約定的超參賦值方式，併為 llama-batch.cpp 中的 hparam 使用留下 TODO，另有一處 typo 修復，提交由 Georgi Gerganov 共同署名。
llama.cpp 伺服器新增 /v1/systemone API，支援 laya、julia-1 等模型
llama.cpp 的 server 元件新增了 /v1/systemone API，支援 laya、julia-1、lev、openjev、kev 五個模型。該 PR 包含模型轉換、服務端程式碼、共享提示字首、視覺支援，並新增 openjev tiny 模型用於測試。建置覆蓋 macOS、Linux、Windows、Android 等平台，但明確不支援 date_facts。
llama.cpp b11507 支援 MoE 快取跨多 GPU
llama.cpp 發布 b11507 版本，新增 MoE 快取跨多張 GPU 的支援（PR #30112），可讓混合專家模型在多 GPU 環境下更充分地利用視訊記憶體。該版本同時更新了各平台預編譯產物，覆蓋 macOS Apple Silicon、iOS、Linux（CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO）、Windows、Android 以及 openEuler 等平台。