llama.cpp releasesAI 評分50
llama.cpp Hexagon NPU 支援 Q1_0/Q2_0 的 Hadamard 矩陣乘與取行
llama.cpp 建置 b11717 為高通 Hexagon NPU 後端加入 Hadamard 變換的 MUL_MAT 與 GET_ROWS,覆蓋 flat 與 tiled 兩種佈局的 Q1_0、Q2_0 量化,並新增 hex-hadamard 運算元。同一提交還減少了 q8_1 量化器與 vec_dot_q1 的資料包數量。
找到 3 筆;也可以試試 語意搜尋
llama.cpp 建置 b11717 為高通 Hexagon NPU 後端加入 Hadamard 變換的 MUL_MAT 與 GET_ROWS,覆蓋 flat 與 tiled 兩種佈局的 Q1_0、Q2_0 量化,並新增 hex-hadamard 運算元。同一提交還減少了 q8_1 量化器與 vec_dot_q1 的資料包數量。
推理框架 v0.32.0 發布,最值得注意的是新增 meta-models/Muse-Spark-Open-816B-A42B-NVFP4 模型支援,併為 NVFP4 量化 MoE 加入全域性縮放。同版本還新增 MiniCPM5 工具呼叫解析器、Hadamard 旋轉的 2-bit Qwen3.5(prism_hadamard_qwen35)、Qwen3.5 並行 head,並支援未轉換的模型權重。
llama.cpp 建置版本 b11556 新增對 Prism Bonsai 2 27B 的執行時支援,改動以 PR #29600 合入,共同署名者包括專案作者 Georgi Gerganov。該 PR 還包含把 Hadamard 張量移入方法、定義摺疊權重、修復 load_* Hadamard 載入,以及轉換器介面整理和程式碼清理,其中多處提交標註由 Claude Code 協助完成。