llama.cpp releasesAI 評分45
llama.cpp 建置 b12050:最佳化 RDNA3/4 小 n 場景 split-K 選擇
llama.cpp 發布 b12050 版本,主要改動是在 Vulkan 後端改進 RDNA3 與 RDNA4 顯示卡上小 n 場景的 split-K 選擇,其餘為清理測試中的註釋程式碼、按請求移除部分測試。
找到 3 筆;也可以試試 語意搜尋
llama.cpp 發布 b12050 版本,主要改動是在 Vulkan 後端改進 RDNA3 與 RDNA4 顯示卡上小 n 場景的 split-K 選擇,其餘為清理測試中的註釋程式碼、按請求移除部分測試。
llama.cpp 修復了 HIP 後端在 AMD RDNA3(gfx1150/1151)與 RDNA4(gfx1200/1201)上 bf16 WMMA 的編譯失敗。原因是 __builtin_amdgcn_wmma_f32_16x16x16_bf16_w32 等內建要求 A/B 運算元為 short 向量而非 __bf16,原先按 __bf16 宣告分片會直接報錯。
llama.cpp 的 HIP 後端把 64 行/128 執行緒的 MMQ tile 擴充套件到更多量化型別與 J 值組合,覆蓋 RDNA3.5(gfx115x);此前該配置只在 J≤32 時使用,更大的 tile 會佔滿 LDS,無法讓每個 CU 再容納一個工作組。在 gfx1151 上對 100 個 MUL_MAT 形狀做三輪測試,中位提升 2.1%、最佳 26.0%,5 個 MUL_MAT_ID 形狀中位提升 8.0%。J=96 因未獲益被明確排除,其餘條目保持不變。