llama.cpp releases● 精選AI 評分69
llama.cpp 的 MoE 快取支援把部分未命中專家交給 CPU，並新增調參指令碼
llama.cpp 新建置讓 MoE 快取把一部分未命中的專家改由 CPU 上的 host 專家計算，比例由新引數 --moe-cache-cpu-share F 控制，計算圖上分別從快取槽建置一份、從 host 專家建置一份，兩者相加後再加 down bias。
搜尋
找到 3 筆；也可以試試 語意搜尋
機器之心● 精選AI 評分83
KTransformers-FineTune 讓 CPU 直接算 MoE 專家，微調吞吐最高提升 21.2 倍
清華 MADSys 實驗室與趨境科技提出 KTransformers-FineTune（KT-FT），讓 CPU 用主存中的權重直接完成 MoE 專家計算、GPU 只負責注意力，LoRA 微調吞吐達到 ZeRO-Offload 等解除安裝基線的 2.5～21.2 倍。該方案已作為執行後端接入 LlamaFactory，CPU 側用 AVX-512/AMX 指令集計算專家，支援微調與推理在同等硬體下一鍵執行。
llama.cpp releasesAI 評分45
llama.cpp 修復 fit 漏算 NextN 層的解除安裝問題
llama.cpp 修復了 fit 在自動分配 GPU 層數時漏算 NextN 層的問題：這些層不含權重，fit 只按 n_layer + 1 計數，而載入器按 n_layer_all + 1 計算 n_gpu_layers，導致本應全部解除安裝的模型仍把第 0 層留在 CPU（雙卡跑 Qwen3.8-27B 時顯示 offloaded 65/66 layers）。