llama.cpp releases● 精選AI 評分67
llama.cpp Metal 後端融合 DeepSeek-V4 與 GLM 的 MoE 路由
llama.cpp 的 Metal 後端把 MoE 路由計算融合進單個核心，覆蓋 DeepSeek-V4/V4.1 以及 GLM、DeepSeek-V2/V3.2、Kimi、MiniMax 等 sigmoid 門控模型。
搜尋
找到 6 筆
llama.cpp releasesAI 評分36
llama.cpp 測試修復：MoE 路由選擇不再受後端噪聲干擾
llama.cpp 建置 b11752 的兩項改動都集中在測試程式碼：MoE 路由選擇加入 step 2 的偏置斜坡，讓每個專家擁有獨立的分數區間，使 top-k 只由專家索引決定，避免後端浮點噪聲把 token 路由到不同專家。此前只有 Beam 架構（8 個專家用 2 個、4 組用 2 個）會撞上這個問題，在 M2 Ultra 上 20 個種子有 2 個失敗、logits 相差 4e-3；修復後 160 個種子全部與 CPU 參考值吻合在 4e-7 以內。
llama.cpp releases● 精選AI 評分62
llama.cpp 新增 Kolibri-1 支援，78B 德語英語 MoE
llama.cpp 建置 b11709 加入對 Aleph-Alpha 的 Kolibri-1 支援。這是德語/英語雙語 MoE 推理模型，78B 總引數、每 token 啟用 3.46B，50 層、384 個路由專家加 1 個共享專家，注意力以 4 層滑動視窗（視窗 513）交替 1 層全注意力，GQA 為 48 查詢頭對 4 KV 頭。
機器之心● 精選AI 評分79
港科大與華為提出 BalanceRoute，96 卡解碼吞吐提升約 15%
香港科技大學周子傑團隊與華為 2012 實驗室理論部提出 BalanceRoute，用線上路由緩解 MoE 大模型 PD 分離部署中各解碼組「齊步走」帶來的同步等待。在 96 張昇騰 910C、DeepSeek-V3 671B（W8A8）、8 個解碼單元的主實驗中，採用實際預測器的 BR-H 相比最強基線解碼吞吐提升約 15%，輸出 token 間隔的尾部延遲同時下降，單輪排程耗時中位數 1.20 毫秒、99% 分位 2.77 毫秒。
llama.cpp releases● 精選AI 評分77
llama.cpp 新增 Muse Spark Open 多模態模型支援
llama.cpp 合併 PR #30616，新增 Muse Spark Open 模型支援，可處理文字、視覺與音訊三種輸入。該模型是 latent space MoE：殘差流保持 8192 維，256 個專家位於 4096 維，經上下投影連線，採用 top-8 sigmoid 路由與修正偏置，注意力為三層 2048 視窗滑窗加一層無 rope 的全域性層。
llama.cpp releasesAI 評分42
llama.cpp b11609 修復 WebGPU 重複專家 ID 的 mul_mat_id
llama.cpp 發布 b11609，修復 WebGPU 後端在 expert id 重複時 mul_mat_id 的計算錯誤，屬 CI 修復。該問題涉及 MoE 模型的專家路由，同版本照常給出各平台預編譯建置，覆蓋 macOS Apple Silicon（arm64）、Linux 的 CUDA 12/13 與 ROCm 10.0、Windows x64 CUDA/Vulkan、Android arm64，以及 Snapdragon 的 CPU、Adreno GPU 與 H…