llama.cpp b11777 將 Qwen 輸出改為 2D 張量
llama.cpp 發布建置 b11777,主要改動是 Qwen 模型的輸出改為 reshape 成 2D 而非 3D,同時移除末尾的 reshape 並修正相關注釋(#30823)。
原標題:b11777
閱讀原文
| 評分 | 40 / 42(平均 41,門檻 60) |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp b11729 為 Qwen3 加入雙向注意力支援
llama.cpp 發布 b11729,為 Qwen3 加入雙向注意力(bidirectional attention)與 dense_2 輸出投影支援,模型轉換指令碼 conversion/base.py 會讀取 use_bidirectional_attention 欄位。
llama.cpp b11747 讓 mtmd 對齊 Qwen-VL 影像縮放
llama.cpp 發布 b11747 建置,核心改動是讓 mtmd 的多模態預處理與 transformers 的 Qwen-VL resize 行為保持一致,避免同一張圖片在兩邊得到不同的縮放與切圖結果。
llama.cpp b11572 新增 vLLM d3 模型支援
llama.cpp 發布 b11572,新增對 vLLM d3 模型的支援(d2 同步更新),並加入 pplx-decider 模型支援,同時澄清命名規則、加強校驗。該版本照例提供 macOS/iOS、Linux、Windows、Android、openEuler 的預編譯包,覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及驍龍 CPU/Adreno GPU/Hexagon NPU 等後端。
llama.cpp 為 Hexagon NPU 增加 q2_k 與 q3_k 量化支援
llama.cpp 合併 PR #29717,為 Hexagon 後端新增 q2_k 和 q3_k 兩種量化型別支援,並統一了 src1_row_size 的分配方式。該改動由高通工程師 Max Krasnyansky 參與提交,面向在驍龍 Hexagon NPU 上執行本地推理的使用者,相關建置覆蓋 Linux arm64 與 Android arm64 的 Snapdragon CPU、Adreno GPU、Hexagon NPU 組合。
llama.cpp 發布 b11397,CUDA 後端調整 neu_padded 位置
llama.cpp 發布建置版本 b11397,主要變更是將 CUDA 後端的 neu_padded 移動到實際使用位置(PR #29940),作者為 Hugging Face 的 Adrien Gallouët。該版本繼續提供 macOS、Linux、Windows、Android 等多平台預編譯包,覆蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端;