llama.cpp 新版啟動強制指定模型,無參執行失效
llama.cpp 發布 b11929 建置,命令列行為變更:啟動時必須用 --model 指定本地模型檔案,或用 -hf 從 Hugging Face 拉取模型,否則報錯退出,此前不帶引數直接執行的方式不再可用。
原標題:b11929
閱讀原文
| 評分 | 40 / 40(平均 40,門檻 60) |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp 發布 b11438,動態後端需顯式載入
llama.cpp 發布 b11438,主要變更是 test-llama-archs 在生成模型前先初始化後端(#30034):開啟 GGML_BACKEND_DL 時,必須先顯式載入後端才能建立模型。
llama.cpp 新版本支援跨程序併發下載模型
llama.cpp 發布 b11848 版本,主要變更是允許不同程序同時下載檔案(#29312),由 Hugging Face 的 Adrien Gallouët 提交。
llama.cpp b11572 新增 vLLM d3 模型支援
llama.cpp 發布 b11572,新增對 vLLM d3 模型的支援(d2 同步更新),並加入 pplx-decider 模型支援,同時澄清命名規則、加強校驗。該版本照例提供 macOS/iOS、Linux、Windows、Android、openEuler 的預編譯包,覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及驍龍 CPU/Adreno GPU/Hexagon NPU 等後端。
llama.cpp v0.7.0 發布,llama serve 新增懶載入與推測解碼
llama.cpp 發布 v0.7.0,作者給出的範例命令是 llama serve -hf ggml-org/Qwen3.8-Flash-Next-GGUF:IQ4_NL --spec-type draft-mtp --lazy-mode on。命令通過 -hf 指定 Hugging Face 上的 Qwen3.8-Flash-Next GGUF 倉庫及 IQ4_NL 量化,並同時開啟 --lazy-mode 懶載入與 --spec-type draft-mtp 推測解碼。
llama.cpp 伺服器新增 --models-memory-max,可按記憶體閾值動態解除安裝模型
llama.cpp 伺服器新增 --models-memory-max 引數,當已載入模型超過設定的記憶體上限時自動動態解除安裝。該限制以每臺裝置分別計算的記憶體餘量(margin)形式生效,載入前會把待載入模型的大小計入估算,並用 no_alloc 預估模型載入所需記憶體;只有在記憶體超限且沒有空閒模型可解除安裝時,才拒絕新的載入請求。此次還修正了兩個問題:測量子程序的記憶體統計偏差會使 --fit 下把其他程序佔用算成零,以及排隊載入被閾值阻塞時陷入反覆重試。