llama.cpp releasesAI 評分45
llama.cpp 修復 fit 漏算 NextN 層的解除安裝問題
llama.cpp 修復了 fit 在自動分配 GPU 層數時漏算 NextN 層的問題：這些層不含權重，fit 只按 n_layer + 1 計數，而載入器按 n_layer_all + 1 計算 n_gpu_layers，導致本應全部解除安裝的模型仍把第 0 層留在 CPU（雙卡跑 Qwen3.8-27B 時顯示 offloaded 65/66 layers）。
搜尋
找到 2 筆；也可以試試 語意搜尋
機器之心● 精選AI 評分83
KTransformers-FineTune 讓 CPU 直接算 MoE 專家，微調吞吐最高提升 21.2 倍
清華 MADSys 實驗室與趨境科技提出 KTransformers-FineTune（KT-FT），讓 CPU 用主存中的權重直接完成 MoE 專家計算、GPU 只負責注意力，LoRA 微調吞吐達到 ZeRO-Offload 等解除安裝基線的 2.5～21.2 倍。該方案已作為執行後端接入 LlamaFactory，CPU 側用 AVX-512/AMX 指令集計算專家，支援微調與推理在同等硬體下一鍵執行。