10 月 21 日至 24 日，llama.cpp 連續三個建置（b11785、b11858、b11866）圍繞 MoE 下投影的 amax 縮放做了一組改動。b11785 把 MoE 下投影的全域性 amax 縮放改為按專家 token 計算的因子，沿中間維做 POOL_1D 最大值歸約得到縮放量，輸出端再用同一 2… 看完整事件
llama.cpp 對 MoE amax 架構停用 -sm tensor 張量拆分
llama.cpp 建置 b11858 起，對會建置 amax 圖的 MoE 架構停用 -sm tensor 張量拆分（#31081）：amax 的 POOL_1D 歸約跨越整個 matmul 行，單個裝置無法從 axis-0 拆分中算出結果，因此刪掉了 Meta 側報告為 MIRRORED 的 split-state 分支。
原標題：b11858
閱讀原文
| 評分 | 40 / 45（平均 42，門檻 60） |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp 為 SYCL 後端加入分組 MoE XMX GEMM
llama.cpp 建置 b11493 為 SYCL 後端新增分組 MoE XMX GEMM 運算元（#29245），面向混合專家模型的矩陣乘加速。該版本同時放出全平台建置產物，覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，包含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16，以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU 組合。
llama.cpp 新版最佳化 Vulkan 上 MoE 重複專家的矩陣乘
llama.cpp 發布 b11554，Vulkan 後端改進了 MoE 推理中 mul_mat_id 對重複專家 id 的處理：不再逐個迴圈，而是在預計算階段統一處理。原本受限的 hoist row ids 最佳化現在預設開啟，會生成緊湊的 tile 描述列表、按需發射多個 tile，從而收緊 workgroup 數量上界，尾部執行緒可直接提前退出。
llama.cpp b11507 支援 MoE 快取跨多 GPU
llama.cpp 發布 b11507 版本，新增 MoE 快取跨多張 GPU 的支援（PR #30112），可讓混合專家模型在多 GPU 環境下更充分地利用視訊記憶體。該版本同時更新了各平台預編譯產物，覆蓋 macOS Apple Silicon、iOS、Linux（CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO）、Windows、Android 以及 openEuler 等平台。
llama.cpp b11540 發布：SYCL 加速 MXFP4 MoE 推理
llama.cpp 建置版本 b11540 發布，核心變更是 SYCL 後端通過算術解碼與權重重排加速 MXFP4 MoE 模型推理（PR #29809）。該版本同時提供 macOS、Linux、Windows、Android 與 openEuler 的預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16 等後端；
llama.cpp 修復 Metal 後端每 token 9 專家 MoE 核心缺失
llama.cpp 建置 b11755 修復了 Metal 後端缺少每 token 9 專家 MoE 核心變體的問題（#30610、#30699），涉及 Apple Silicon 上的 MoE 推理路徑。該版本照例發布全平台預編譯包，覆蓋 macOS/iOS、Linux（CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO）、Android、Windows 及 openEuler 昇騰等後端。