llama.cpp 修復 MiniMax-M3 量化 scale 未傳入計算圖導致輸出亂碼
llama.cpp 修復了 MiniMax-M3 的量化 scale 未轉發到計算圖、導致輸出變成亂碼的問題。minimax-m3.cpp 此前沒有把逐專家的 NVFP4 scale2 張量,以及稠密 FFN 和共享專家的 MXFP8 逐張量 scale 傳入圖;
這條修復點明瞭量化 scale 漏傳導致 MoE 輸出亂碼的具體根因,並給出 M3.1 Flash 的 G≈15123 實測數字;對在 llama.cpp 上執行 MiniMax-M3 NVFP4/MXFP8 量化版的人,可據此判斷是否需要升級。
原標題:b11861
閱讀原文
| 評分 | 52 / 55(平均 53,門檻 60) |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp 修復 qkx3 量化縮放搜尋的非法舍入
llama.cpp 合併 PR #29817,修復 ggml-quants 中 qkx3 量化縮放搜尋的非法舍入問題:當 imatrix 擬合的最小值塌縮為最大值或範圍極小時,會產生無窮、NaN 或越界值,傳入 nearest_int 後可能觸發 Debug 建置斷言。修復方式是在舍入前把量化級別鉗制到 [0, nmax],並新增 q2_K、q4_K、q5_K、q4_1、q5_1 的退化 imatrix 組迴歸測試,對應 issue #29804。
llama.cpp 修復 4D 張量量化丟行與 MoE 張量誤判
llama.cpp 新版本 b11883 修復了 llama-quant 的 4D 張量量化錯誤:原先按 ne[1]*ne[2] 統計行數,導致 4D 張量只有前 ne[2] 個切片被量化、其餘行被丟棄,現改用 ggml_nrows() 統計包含 ne[3] 在內的全部行。
llama.cpp 發布 b11390,修復 CUDA MMQ 記憶體錯誤
llama.cpp 發布建置版本 b11390,主要修復了 CUDA 後端在 n_expert 遠大於 n_ubatch 時的 MMQ 記憶體故障(#29941)。
llama.cpp b11414 修復 Vulkan 後端 flash attention 與 soft_max 複用問…
llama.cpp 發布建置 b11414,本版列出的程式碼改動是 Vulkan 後端修復 prealloc_y 在 flash attention 與 soft_max 之間複用時殘留舊資料的問題(PR #29591),提交標註 Assisted-by: Claude。
llama.cpp 發布 b11784,修復 SYCL IQ3 崩潰
llama.cpp 發布 b11784 建置,主要修復 SYCL 後端在 IQ3 量化下的崩潰問題(#30604)。同一版中,macOS Apple Silicon 的 KleidiAI 加速建置與 openEuler 建置被標記為 DISABLED,本輪不提供。