llama.cpp 為 LFM3 啟用張量並行切分
llama.cpp 發布 b12027 建置，為 LFM3 模型啟用 tensor split，支援把該模型按張量切分到多張 GPU 上推理。同批建置覆蓋 macOS Apple Silicon、Windows 與 Linux 的 CUDA 12、CUDA 13、Vulkan、ROCm 10.0、OpenVINO、SYCL 等後端，並新增 Ubuntu 26.04 s390x 的 CPU 與 zDNN 版本；
原標題：b12027
閱讀原文
| 評分 | 42 / 42（平均 42，門檻 60） |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp 發布 b12024，LFM 多模態改用 2D 張量重塑
llama.cpp 發布建置 b12024，主要程式碼改動是把 LFM 多模態（mm）的重塑操作改為在 2D 而非 3D 張量上進行。其餘為該版本的多平台建置產物清單：macOS Apple Silicon 與 Intel、iOS XCFramework、Linux（CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO、s390x）、Android、Windows 及 openEuler。
llama.cpp 建置 b11448：ggml-cuda 分塊處理大塊 BF16/FP16 轉 F32
llama.cpp 發布建置 b11448，ggml-cuda 後端把大塊 BF16/FP16 到 F32 的轉換改為分塊執行（#29442），並修正分塊 cuBLAS 矩陣乘法未遵循目標 stride 的問題，提交由 Johannes Gäßler 參與。改動僅涉及 CUDA 後端，影響用 NVIDIA GPU 做本地推理的場景；該建置同時覆蓋 macOS Apple Silicon 與 Linux、Windows 的 CUDA 12/13 等平台。
llama.cpp 新增 ggml 批次張量複製 API，並支援 CUDA
llama.cpp 建置 b12002 為 ggml 加入通用批次張量複製 API，並把 llama 的 context io 改為按批次執行裝置張量複製。新 API 已獲 CUDA 後端支援，會按緩衝區型別分組排程，同時移除了舊的非同步 tensor_n 介面並補上空緩衝區鉤子，還修復了二維批次張量的識別問題。測試方面，test-backend-tensor 經過重構，用 mock 緩衝區型別驗證鉤子呼叫、逐張量回退，以及 cpy_tensor_n 的全有全無語義。
llama.cpp 新增支援 LiquidAI LFM3-1.7B 與 LFM3-VL-2B
llama.cpp 合併 PR，加入對 LiquidAI 的 LFM3-1.7B 文字模型與 LFM3-VL-2B 視覺語言模型的支援。改動包括為 LFM3 啟用迴圈狀態回滾、設定 LFM3 測試模型的 SWA rope base，並讓 LFM3-VL 的 depthwise 卷積核在量化時保持 F32 精度，同時補充 LFM3 的 Metal 融合基線測試。
llama.cpp 發布 0.7.0，預編譯包更新 CUDA 13 與 ROCm 10.0
llama.cpp 版本號升至 0.7.0，建置號為 b11669。此次發布的預編譯包覆蓋 macOS（Apple Silicon 與 Intel）、Linux、Windows、Android、iOS 及 openEuler，其中新增 CUDA 13（基於 13.4 庫）與 ROCm 10.0 後端，並保留 Vulkan、SYCL、OpenVINO 等選項。