v0.32.2 發布:修復 MiMo-V2-Flash 注意力縮放問題
v0.32.2 於 10 月 16 日發布,核心改動是修復 MiMo-V2-Flash 的注意力數值縮放問題。同一版本還修復了 SMM 的 mask,並更新 Muse spark 在 Hugging Face 上的名稱。發布由 michalk8 完成,@ricky-chaoju 以首次貢獻者身份提交了 MiMo-V2-Flash 的修復,完整變更記錄為 v0.32.1...v0.32.2。
原標題:v0.32.2
閱讀原文
| 評分 | 45 / 40(平均 42,門檻 60) |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
推理框架 v0.32.0 發布,新增 816B NVFP4 MoE 模型與 MiniCPM5 工具解析器
推理框架 v0.32.0 發布,最值得注意的是新增 meta-models/Muse-Spark-Open-816B-A42B-NVFP4 模型支援,併為 NVFP4 量化 MoE 加入全域性縮放。同版本還新增 MiniCPM5 工具呼叫解析器、Hadamard 旋轉的 2-bit Qwen3.5(prism_hadamard_qwen35)、Qwen3.5 並行 head,並支援未轉換的模型權重。
llama.cpp 發布 b11424,修復 Vulkan Flash Attention 共享記憶體越界寫
llama.cpp 發布 b11424 建置版本,修復 Vulkan 後端 Flash Attention 的共享記憶體越界寫問題(#29988)。該版本照例提供 macOS/iOS、Linux、Windows、Android 的預編譯包,涵蓋 Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL、OpenCL 等後端,並附驍龍 CPU/Adreno GPU/Hexagon NPU 的安裝指引。
llama.cpp b11414 修復 Vulkan 後端 flash attention 與 soft_max 複用問…
llama.cpp 發布建置 b11414,本版列出的程式碼改動是 Vulkan 後端修復 prealloc_y 在 flash attention 與 soft_max 之間複用時殘留舊資料的問題(PR #29591),提交標註 Assisted-by: Claude。
llama.cpp 將無快取注意力的 KV 維度填充到 256,修復 Flash Attention 回退 CPU
llama.cpp b11576 把無快取注意力路徑的 KV 維度填充到 256,修復了該路徑下 Flash Attention 回退 CPU 的問題。
llama.cpp 發布 b11402,CUDA 後端改用整塊 FlashAttention 排程
llama.cpp 發布 b11402 版本,CUDA 後端改為優先採用整塊(whole-tile)FlashAttention 排程,以提升兩階段核心效率。