LFM3 上線 LM Studio,記憶體佔用約 1 GB
LFM3 已在 LM Studio 上線,官方稱其執行時記憶體佔用約 1 GB,可在消費級硬體上本地載入。LM Studio 已開出該模型的頁面,使用者可在應用內直接下載使用。原文未披露引數量、上下文長度與授權條款等細節。
以約 1 GB 記憶體佔用落地 LM Studio,為本地推理增加了一個超輕量選項,對記憶體有限的機器上跑模型的人最有參考價值。
原標題:@lmstudio: LFM3 is live in LM Studio!
閱讀原文
| 評分 | 62 / 52(平均 57,門檻 60) |
|---|---|
| 狀態 | 未入選 |
相關報導
LM Studio 首日上線 Flint:40B MoE 本地編碼模型
Recursive SI 的 Flint 模型在發布首日就進入 LM Studio,可直接在本地執行。它是一個 40B 的 MoE 模型,每次僅啟用 2.5B 引數,上下文視窗為 262K token,採用 Apache 2.0 許可,專門針對本地 agentic coding 場景訓練。本地執行大約需要 24GB 記憶體,官方稱其基準測試表現相當出色。
@lmstudio
LM Studio 在模型庫中上線了名為 Beam 的模型,並放出模型頁面連結 lmstudio.ai/models/beam。該推文除連結外沒有給出更多說明,引數規模、許可協議、量化版本與硬體需求等細節均需到模型頁面檢視。目前可確認的只有這一條上新資訊。
Liquid AI 發布 LFM3:六款 2B 級多模態模型共用同一骨幹
Liquid AI 推出 LFM3 系列,六款 2B 級模型(文字、視覺、音訊、全模態與決策)均從 LFM3-1.7B-Base 派生,可按輸入模態選型,並在單張 GPU 上微調後部署到端側。LFM3-1.7B 比 LFM2.5-2.6B 引數少 35% 卻更強,4bit 量化約 1GB,上下文 256K,8K 上下文下比 LFM2-1.2B 快約 25%。
Ollama 上線 LFM2.5 24B,一條命令本地執行
Ollama 模型庫新增 LFM2.5 24B,使用者可用一條命令 ollama run lfm2.5:24b 拉取並在本地執行。該模型引數規模為 24B,官方同時給出了對應的模型庫頁面連結,公告中未披露更多細節。
llama.cpp 伺服器新增 --models-memory-max,可按記憶體閾值動態解除安裝模型
llama.cpp 伺服器新增 --models-memory-max 引數,當已載入模型超過設定的記憶體上限時自動動態解除安裝。該限制以每臺裝置分別計算的記憶體餘量(margin)形式生效,載入前會把待載入模型的大小計入估算,並用 no_alloc 預估模型載入所需記憶體;只有在記憶體超限且沒有空閒模型可解除安裝時,才拒絕新的載入請求。此次還修正了兩個問題:測量子程序的記憶體統計偏差會使 --fit 下把其他程序佔用算成零,以及排隊載入被閾值阻塞時陷入反覆重試。