llama.cpp releases● 精選10/3 07:27AI 評分62
llama.cpp 發布 b11370，CUDA 後端將共享專家融合進 MMVQ
llama.cpp 發布建置版本 b11370，CUDA 後端新增將共享專家（shared experts）融合進 MMVQ 的改動（#29184），並修復緩衝區空值檢查、把 stride_col_dst 移入融合引數。
搜尋
找到 2 筆
r/LocalLLaMA top of the day10/2 19:47AI 評分59
llama.cpp 新 PR 把共享專家融合進 CUDA MMVQ
llama.cpp 的 PR #29184（作者 am17an）提出在 CUDA 後端把 MoE 的共享專家融合進 MMVQ 運算元，為部分 MoE 架構（例如 Qwen 35B A3B）帶來推理加速。評論區給出的初步結論是 token 生成速度最多提升約 5%，屬於穩步積累而非革命性改動。該改動僅針對 CUDA 後端、且只對部分 MoE 架構生效，Metal 等其他後端不受影響。