llama.cpp b11806 支援 Prism Hadamard 摺疊權重的 LoRA
llama.cpp 發布 b11806 建置,LoRA 新增對 prism.hadamard 摺疊權重的支援(#30910),同時從 test-llama-archs 中移除了 LoRA 測試。
原標題:b11806
閱讀原文
| 評分 | 42 / 48(平均 45,門檻 60) |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp 新增 Prism Bonsai 2 27B 執行時支援
llama.cpp 建置版本 b11556 新增對 Prism Bonsai 2 27B 的執行時支援,改動以 PR #29600 合入,共同署名者包括專案作者 Georgi Gerganov。該 PR 還包含把 Hadamard 張量移入方法、定義摺疊權重、修復 load_* Hadamard 載入,以及轉換器介面整理和程式碼清理,其中多處提交標註由 Claude Code 協助完成。
llama.cpp 支援批次內混合 embd 與原始 token
llama.cpp 合併 PR #29622,在單一批次中同時支援嵌入向量(embd)和原始 token,並新增 llm_arch_supports_mixed_batch 為 false 時的檢查分支。改動包括固定圖拓撲、為混合場景設定專用輸入、移除 set_tensor_backend、將 is_embd 改為 type,並統一 m-rope 位置處理。
llama.cpp 發布 b11397,CUDA 後端調整 neu_padded 位置
llama.cpp 發布建置版本 b11397,主要變更是將 CUDA 後端的 neu_padded 移動到實際使用位置(PR #29940),作者為 Hugging Face 的 Adrien Gallouët。該版本繼續提供 macOS、Linux、Windows、Android 等多平台預編譯包,覆蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端;
llama.cpp b11537 修復 Gemma 4 embedding 並改進建置邏輯
llama.cpp 發布 b11537,重點是修復 Gemma 4 的 embedding 相關問題、改進輸入 embedding 的建置邏輯。該版本在 graph 中重排了 embeddings 使用的 get_rows,修好 raw embeddings 路徑,在 Gemma 4 的 embedding 路徑中避免 ple cast,併為 LoRA 留下 TODO。
llama.cpp Hexagon NPU 支援 Q1_0/Q2_0 的 Hadamard 矩陣乘與取行
llama.cpp 建置 b11717 為高通 Hexagon NPU 後端加入 Hadamard 變換的 MUL_MAT 與 GET_ROWS,覆蓋 flat 與 tiled 兩種佈局的 Q1_0、Q2_0 量化,並新增 hex-hadamard 運算元。同一提交還減少了 q8_1 量化器與 vec_dot_q1 的資料包數量。