搜尋

找到 2 筆；也可以試試語意搜尋

llama.cpp releases10/12 13:19AI 評分52

llama.cpp 修復 Metal 後端 mul_mat_id 重複 id 錯誤

llama.cpp 建置版本 b11569 修復了 Metal 後端 mul_mat_id 在 id 重複時輸出錯誤、丟行乃至溢位到下一個 expert 切片的問題。新實現先做一遍預掃描，為每個 expert 建立緊湊的 (token, slot) 條目列表，並借鑑 Vulkan 方案讓 map0 額外輸出 tile 描述符，kernel_mul_mm_id 按描述符處理單個 tile，重複 id 由此被隱式處理。

地端推論開源 llama.cpp Metal mul_mat_id Apple Silicon GPU kernel

閱讀原文

llama.cpp releases10/11 12:31AI 評分46

llama.cpp 新版最佳化 Vulkan 上 MoE 重複專家的矩陣乘

llama.cpp 發布 b11554，Vulkan 後端改進了 MoE 推理中 mul_mat_id 對重複專家 id 的處理：不再逐個迴圈，而是在預計算階段統一處理。原本受限的 hoist row ids 最佳化現在預設開啟，會生成緊湊的 tile 描述列表、按需發射多個 tile，從而收緊 workgroup 數量上界，尾部執行緒可直接提前退出。

地端推論開源 llama.cpp Vulkan MoE 推理最佳化 b11554

閱讀原文