搜尋

llama.cpp 伺服器新增 --models-memory-max，可按記憶體閾值動態解除安裝模型

llama.cpp 伺服器新增 --models-memory-max 引數，當已載入模型超過設定的記憶體上限時自動動態解除安裝。該限制以每臺裝置分別計算的記憶體餘量（margin）形式生效，載入前會把待載入模型的大小計入估算，並用 no_alloc 預估模型載入所需記憶體；只有在記憶體超限且沒有空閒模型可解除安裝時，才拒絕新的載入請求。此次還修正了兩個問題：測量子程序的記憶體統計偏差會使 --fit 下把其他程序佔用算成零，以及排隊載入被閾值阻塞時陷入反覆重試。