llama.cpp 新建置:GGUF 分片合併拒絕不匹配分片
llama.cpp 發布 b12078 建置,其 GGUF 分片合併工具現在會拒絕不匹配的分片(#31579),避免把不同來源或引數的分片錯誤合併成損壞的模型檔案。
原標題:b12078
閱讀原文
| 評分 | 35 / 38(平均 36,門檻 60) |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp 修復 gguf-split 對截斷 GGUF 靜默輸出損壞張量
llama.cpp 建置 b11727 為 gguf-split 和 export-lora 加上張量資料邊界檢查與短讀檢查,輸入 GGUF 檔案被截斷時直接拒絕,不再靜默產出損壞的張量資料。修復點位於 gguf-split.cpp 的 copy_file_to_file(split_strategy)與 export-lora.cpp 的 read_tensor_data,並附帶回歸測試,驗證截斷輸入被拒絕、合法張量資料仍被保留。
llama.cpp 建置 b11448:ggml-cuda 分塊處理大塊 BF16/FP16 轉 F32
llama.cpp 發布建置 b11448,ggml-cuda 後端把大塊 BF16/FP16 到 F32 的轉換改為分塊執行(#29442),並修正分塊 cuBLAS 矩陣乘法未遵循目標 stride 的問題,提交由 Johannes Gäßler 參與。改動僅涉及 CUDA 後端,影響用 NVIDIA GPU 做本地推理的場景;該建置同時覆蓋 macOS Apple Silicon 與 Linux、Windows 的 CUDA 12/13 等平台。
llama.cpp 合併 K2 Horizon 支援,修復 Windows GGUF 無法載入
llama.cpp 合併了 K2 Horizon 稠密模型與 MoVA 支援,包含 GGUF 轉換、計算圖、tokenizer、chat template,以及推理與工具呼叫。
llama.cpp 支援 Nemotron:非標準 GQA 與 BPE 分詞器
llama.cpp 建置版本 b11819 新增 Nemotron 模型支援,可處理非標準 GQA 與 BPE 分詞器,併相容 domyn-small 的 pre-type。同時 gguf-py 會把 Metaspace 的 prepend_scheme 寫入 GGUF 後設資料,分詞器在 detokenize 時按該設定還原空格。該版本已提供 macOS、Linux、Windows、Android 等平台的預編譯包。
llama.cpp 修復 SYCL 混用不同型號 GPU 的 FA 問題
llama.cpp 合併 PR #29071,修復 SYCL 後端在 Flash Attention(FA)中混用不同型號 GPU 時出現的問題。改動位於 ggml/src/ggml-sycl/ggml-sycl.cpp,提交由 Georgi Gerganov 共同署名。該修復包含在版本 b11464 中,此版本同時提供 Ubuntu x64(SYCL FP32、FP16)與 Windows x64(SYCL)等建置。