llama.cpp b11812 為全部 Granite 模型記錄層輸入
llama.cpp 發布 b11812 建置,其中提交 #30957 為全部 Granite 模型記錄層輸入;該提交由 IBM 的 Gabe Goodhart 提交,位於 GraniteSpeculatorSupport 分支,並標註為全程 AI 輔助(Claude + Sonnet 5.5)。
原標題:b11812
閱讀原文
| 評分 | 40 / 42(平均 41,門檻 60) |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp 新增 IBM Granite Switch 決策模型支援
llama.cpp 發布 b11700,新增對 IBM Granite Switch 決策模型的轉換與推理支援,改動覆蓋 convert、common 與 server,模板參考 granite-switch-4.1-8b。開發中曾加入 decision.chat 讓決策模型兼作聊天,隨後被回退,最終確定為只要 Granite Switch 支援決策就始終支援文字,server README 也同步更新。
b11823
llama.cpp 發布 b11823 建置,主要改動是最佳化 GLM-5 的輸入處理,避免 sel_mask_2d 輸入,cont 路徑也不再新建 pool_flat 輸入。
llama.cpp b11598 為 laguna 模型載入 YaRN beta 後設資料
llama.cpp 發布 b11598 建置,主要變更是為 laguna 系列模型載入 YaRN beta 後設資料(#30331),該提交由 Codex 協助完成。
llama.cpp 建置 b11641:spec 新增 lilicorr 支援
llama.cpp 發布建置 b11641,其中 spec(推測解碼)新增 lilicorr 支援(PR #30506),是本次最主要的變更。同一批提交還讓 convert 採用約定的超參賦值方式,併為 llama-batch.cpp 中的 hparam 使用留下 TODO,另有一處 typo 修復,提交由 Georgi Gerganov 共同署名。
llama.cpp 新增 Flint 模型支援,多平台建置同步更新
llama.cpp 建置 b11803 合併了對新模型 Flint(FlintForCausalLM)的支援,該提交由 Codex 協助完成,合作者包括 Hugging Face 的 Sigbjørn Skjæret。同版本的預編譯產物覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler,包含 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端。