2026 年 10 月,llama.cpp 連續兩個建置修復了 GGUF 相關工具在輸入檔案被截斷時靜默輸出損壞張量資料的問題。10 月 19 日的 b11727 為 gguf-split 和 export-lora 加上張量資料邊界檢查與短讀檢查,改動分別位於 gguf-split.cpp 的 copy_file_t… 看完整事件
llama.cpp 合併 GGUF 時拒絕截斷的張量資料
llama.cpp 新建置 b11880 在合併 GGUF 張量資料時,會拒絕被截斷的資料,避免合出損壞的模型檔案;對應提交為 #31044,改動位於 tools。該版本仍覆蓋 macOS Apple Silicon、iOS、Linux(CUDA 12/13、ROCm、Vulkan、SYCL、OpenVINO)、Android 與 Windows 等平台,但啟用 KleidiAI 的 macOS Apple Silicon 建置和 openEuler 建置在本期被標記為停用。
原標題:b11880
閱讀原文
| 評分 | 42 / 40(平均 41,門檻 60) |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp 建置 b11448:ggml-cuda 分塊處理大塊 BF16/FP16 轉 F32
llama.cpp 發布建置 b11448,ggml-cuda 後端把大塊 BF16/FP16 到 F32 的轉換改為分塊執行(#29442),並修正分塊 cuBLAS 矩陣乘法未遵循目標 stride 的問題,提交由 Johannes Gäßler 參與。改動僅涉及 CUDA 後端,影響用 NVIDIA GPU 做本地推理的場景;該建置同時覆蓋 macOS Apple Silicon 與 Linux、Windows 的 CUDA 12/13 等平台。
llama.cpp b11436 修復 OpenVINO 後端多項 GPU 迴歸
llama.cpp b11436 修復 ggml-openvino 後端的 CI 測試失敗與多項 GPU 迴歸。上游 #29622 給輸入 embedding 圖加入混合 token/embd 分支,後端改為只從計算節點建置 OV 模型,並把同型別連續 DUP 按 CONT 翻譯以避免圖被拆分,修復了 CPU 與 GPU 上首個單 token decode 失敗;
llama.cpp 修復 Metal 大張量 kernel_mul_mm 報錯
llama.cpp 發布 b11575 建置,修復 Metal 後端在大張量上 kernel_mul_mm 核心報錯的問題,改動位於 ggml/src/ggml-metal/kernels/mul_mm.metal。該修復由 Codex 輔助完成,影響在 Apple Silicon 上通過 Metal 做推理的使用者。
llama.cpp 修復 SYCL 混用不同型號 GPU 的 FA 問題
llama.cpp 合併 PR #29071,修復 SYCL 後端在 Flash Attention(FA)中混用不同型號 GPU 時出現的問題。改動位於 ggml/src/ggml-sycl/ggml-sycl.cpp,提交由 Georgi Gerganov 共同署名。該修復包含在版本 b11464 中,此版本同時提供 Ubuntu x64(SYCL FP32、FP16)與 Windows x64(SYCL)等建置。
llama.cpp 新增 Flint 模型支援,多平台建置同步更新
llama.cpp 建置 b11803 合併了對新模型 Flint(FlintForCausalLM)的支援,該提交由 Codex 協助完成,合作者包括 Hugging Face 的 Sigbjørn Skjæret。同版本的預編譯產物覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler,包含 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端。