搜尋

llama.cpp 的 MoE 快取支援把部分未命中專家交給 CPU，並新增調參指令碼

llama.cpp 新建置讓 MoE 快取把一部分未命中的專家改由 CPU 上的 host 專家計算，比例由新引數 --moe-cache-cpu-share F 控制，計算圖上分別從快取槽建置一份、從 host 專家建置一份，兩者相加後再加 down bias。