搜尋

b11730: cuda: cap MMQ Stream-K blocks at available work (#30553)

llama.cpp 建置 b11730 調整 CUDA 後端 MMQ 的 Stream-K 排程：網格上限從按 SM 數量啟動改為實際 k-block 數量，並進一步按所有輸出 tile 的 K_vram 迭代總數（部分迭代向上取整）收緊。這能去掉小矩陣下無活可乾的多餘 CUDA 塊及其啟動與 fixup 開銷，有效取整 K 範圍與數值結果不變。代價是部分迭代可能改變 FP32 求和的分組方式，MUL_MAT 與 MUL_MAT_ID 後端測試已在 RTX 5090 上通過。