llama.cpp 改為從 GGUF 後設資料讀取 LFM2-VL 切圖引數
llama.cpp 新建置 b11767 讓 LFM2-VL 的影像切分引數改由 GGUF 後設資料決定,不再寫死在程式碼裡。轉換 LFM2-VL mmproj 時會把 processor_config.json 中的 min_tiles、max_tiles、tile_size 和 max_pixels_tolerance 寫入模型,clip.cpp 讀取這些值,缺失時回退到原有常量。
原標題:b11767
閱讀原文
| 評分 | 42 / 42(平均 42,門檻 60) |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp b11774 修復 LFM2 影像預處理,切片與網格對齊 transformers
llama.cpp 新建置 b11774 修正了 LFM2 系列視覺模型(LFM2-VL、LFM2.5-VL、d1-3B)的 mtmd 影像預處理,使切片與網格選擇與 Hugging Face transformers 一致。此前 llama.cpp 保留寬高比並補黑邊、只有 d1-omni 會拉伸,影像比例與網格不符時切片與 transformers 不同;現在設 PAD_NONE 即與 transformers 相同。
llama.cpp 修復 gguf-split 對截斷 GGUF 靜默輸出損壞張量
llama.cpp 建置 b11727 為 gguf-split 和 export-lora 加上張量資料邊界檢查與短讀檢查,輸入 GGUF 檔案被截斷時直接拒絕,不再靜默產出損壞的張量資料。修復點位於 gguf-split.cpp 的 copy_file_to_file(split_strategy)與 export-lora.cpp 的 read_tensor_data,並附帶回歸測試,驗證截斷輸入被拒絕、合法張量資料仍被保留。
llama.cpp 建置 b11448:ggml-cuda 分塊處理大塊 BF16/FP16 轉 F32
llama.cpp 發布建置 b11448,ggml-cuda 後端把大塊 BF16/FP16 到 F32 的轉換改為分塊執行(#29442),並修正分塊 cuBLAS 矩陣乘法未遵循目標 stride 的問題,提交由 Johannes Gäßler 參與。改動僅涉及 CUDA 後端,影響用 NVIDIA GPU 做本地推理的場景;該建置同時覆蓋 macOS Apple Silicon 與 Linux、Windows 的 CUDA 12/13 等平台。
llama.cpp b11747 讓 mtmd 對齊 Qwen-VL 影像縮放
llama.cpp 發布 b11747 建置,核心改動是讓 mtmd 的多模態預處理與 transformers 的 Qwen-VL resize 行為保持一致,避免同一張圖片在兩邊得到不同的縮放與切圖結果。
llama.cpp UI 新增 Discover,可瀏覽下載 HuggingFace GGUF 並斷點續傳
llama.cpp 的圖形介面新增 Discover Models 檢視,可直接在應用內瀏覽並下載 HuggingFace 上的 GGUF 模型,由 Enable Discover Models 開關控制。下載支援暫停與續傳:暫停後保留已下載的分片檔案,重啟或重新開啟後仍能接著磁碟上的進度繼續。下載項按倉庫聚類,主權重會順帶拉取匹配的 draft sidecar(DFlash 優先於 MTP)以啟用投機解碼,決策模型等無法執行的模型已從目錄與搜尋中過濾。