llama.cpp 合併 K2 Horizon 支援,修復 Windows GGUF 無法載入
llama.cpp 合併了 K2 Horizon 稠密模型與 MoVA 支援,包含 GGUF 轉換、計算圖、tokenizer、chat template,以及推理與工具呼叫。
找到 7 筆
llama.cpp 合併了 K2 Horizon 稠密模型與 MoVA 支援,包含 GGUF 轉換、計算圖、tokenizer、chat template,以及推理與工具呼叫。
llama.cpp 新建置 b11767 讓 LFM2-VL 的影像切分引數改由 GGUF 後設資料決定,不再寫死在程式碼裡。轉換 LFM2-VL mmproj 時會把 processor_config.json 中的 min_tiles、max_tiles、tile_size 和 max_pixels_tolerance 寫入模型,clip.cpp 讀取這些值,缺失時回退到原有常量。
llama.cpp 發布 b11729,為 Qwen3 加入雙向注意力(bidirectional attention)與 dense_2 輸出投影支援,模型轉換指令碼 conversion/base.py 會讀取 use_bidirectional_attention 欄位。
蘋果 MLX 框架發布 v0.32.1,修復載入 GGUF 後設資料陣列時的 int64 型別轉換錯誤,並解決 Metal 自訂核心快取同名衝突、CUDA 批次 GEMV 網格溢位等問題。該版本還新增 Metal 全注意力支援 head dimension 96、gather_qqmm 運算元與複數支援,並補充 MLX 環境變數文件。
llama.cpp 建置 b11551 新增 MiniCPM-V 4.7 多模態模型支援,mtmd 與 conversion/minicpm.py 轉換指令碼同步更新。同時允許 mrope 的時間從額外位置槽讀取,GGUF 新增 rope.section_order 後設資料,並處理 grid layout 與相容性問題。
llama.cpp 已實現對 EmbeddingGemma 2 的 Day-0 支援,由作者 ggerganov 公布。對應 GGUF 權重由 ggml-org 發布在 Hugging Face,可直接下載用於本地推理。Day-0 意味著模型發布當天即可在 llama.cpp 上執行,無需等待社群自行轉換。
Ollama v0.40.2-rc0 讓伺服器端不再在 list 輸出中顯示舊版 GGUF 的重複副本與降級保護條目(#18874)。當載入需要 llama.cpp 補丁集的舊 GGUF 時,Ollama 會在磁碟上做惰性轉換以相容 llama.cpp;為支援降級,它會同時保留新舊 GGUF 並建立 shadow v1 manifest tag,防止降級後的伺服器刪除新 blob。這些條目此前出現在列表裡會令使用者與 API 呼叫方困惑,舊副本將在未來版本中移除以回收磁碟空間。