llama.cpp 發布 b12024,LFM 多模態改用 2D 張量重塑
llama.cpp 發布建置 b12024,主要程式碼改動是把 LFM 多模態(mm)的重塑操作改為在 2D 而非 3D 張量上進行。其餘為該版本的多平台建置產物清單:macOS Apple Silicon 與 Intel、iOS XCFramework、Linux(CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO、s390x)、Android、Windows 及 openEuler。
原標題:b12024
閱讀原文
| 評分 | 40 / 38(平均 39,門檻 60) |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp b11777 將 Qwen 輸出改為 2D 張量
llama.cpp 發布建置 b11777,主要改動是 Qwen 模型的輸出改為 reshape 成 2D 而非 3D,同時移除末尾的 reshape 並修正相關注釋(#30823)。
llama.cpp 為 LFM3 啟用張量並行切分
llama.cpp 發布 b12027 建置,為 LFM3 模型啟用 tensor split,支援把該模型按張量切分到多張 GPU 上推理。同批建置覆蓋 macOS Apple Silicon、Windows 與 Linux 的 CUDA 12、CUDA 13、Vulkan、ROCm 10.0、OpenVINO、SYCL 等後端,並新增 Ubuntu 26.04 s390x 的 CPU 與 zDNN 版本;
llama.cpp b11774 修復 LFM2 影像預處理,切片與網格對齊 transformers
llama.cpp 新建置 b11774 修正了 LFM2 系列視覺模型(LFM2-VL、LFM2.5-VL、d1-3B)的 mtmd 影像預處理,使切片與網格選擇與 Hugging Face transformers 一致。此前 llama.cpp 保留寬高比並補黑邊、只有 d1-omni 會拉伸,影像比例與網格不符時切片與 transformers 不同;現在設 PAD_NONE 即與 transformers 相同。
llama.cpp 建置 b11448:ggml-cuda 分塊處理大塊 BF16/FP16 轉 F32
llama.cpp 發布建置 b11448,ggml-cuda 後端把大塊 BF16/FP16 到 F32 的轉換改為分塊執行(#29442),並修正分塊 cuBLAS 矩陣乘法未遵循目標 stride 的問題,提交由 Johannes Gäßler 參與。改動僅涉及 CUDA 後端,影響用 NVIDIA GPU 做本地推理的場景;該建置同時覆蓋 macOS Apple Silicon 與 Linux、Windows 的 CUDA 12/13 等平台。
llama.cpp b11531 重構 chat API,同步更新多平台建置
llama.cpp 發布 b11531,主要變更是重構 chat API(#30210)。同步重新整理的預編譯產物覆蓋 macOS Apple Silicon、Ubuntu、Windows、Android 與 openEuler,包含 CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO,以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU 版本。