AISpot

LFM3 上線 LM Studio,記憶體佔用約 1 GB

X @lmstudio官方公告模型地端推論

LFM3 已在 LM Studio 上線,官方稱其執行時記憶體佔用約 1 GB,可在消費級硬體上本地載入。LM Studio 已開出該模型的頁面,使用者可在應用內直接下載使用。原文未披露引數量、上下文長度與授權條款等細節。

以約 1 GB 記憶體佔用落地 LM Studio,為本地推理增加了一個超輕量選項,對記憶體有限的機器上跑模型的人最有參考價值。

原標題:@lmstudio: LFM3 is live in LM Studio!
閱讀原文

評分62 / 52(平均 57,門檻 60)
狀態未入選

相關報導

X @lmstudio● 精選AI 評分73

LM Studio 首日上線 Flint:40B MoE 本地編碼模型

Recursive SI 的 Flint 模型在發布首日就進入 LM Studio,可直接在本地執行。它是一個 40B 的 MoE 模型,每次僅啟用 2.5B 引數,上下文視窗為 262K token,採用 Apache 2.0 許可,專門針對本地 agentic coding 場景訓練。本地執行大約需要 24GB 記憶體,官方稱其基準測試表現相當出色。

Hugging Face blog● 精選AI 評分74

Liquid AI 發布 LFM3:六款 2B 級多模態模型共用同一骨幹

Liquid AI 推出 LFM3 系列,六款 2B 級模型(文字、視覺、音訊、全模態與決策)均從 LFM3-1.7B-Base 派生,可按輸入模態選型,並在單張 GPU 上微調後部署到端側。LFM3-1.7B 比 LFM2.5-2.6B 引數少 35% 卻更強,4bit 量化約 1GB,上下文 256K,8K 上下文下比 LFM2-1.2B 快約 25%。

llama.cpp releases● 精選AI 評分73

llama.cpp 伺服器新增 --models-memory-max,可按記憶體閾值動態解除安裝模型

llama.cpp 伺服器新增 --models-memory-max 引數,當已載入模型超過設定的記憶體上限時自動動態解除安裝。該限制以每臺裝置分別計算的記憶體餘量(margin)形式生效,載入前會把待載入模型的大小計入估算,並用 no_alloc 預估模型載入所需記憶體;只有在記憶體超限且沒有空閒模型可解除安裝時,才拒絕新的載入請求。此次還修正了兩個問題:測量子程序的記憶體統計偏差會使 --fit 下把其他程序佔用算成零,以及排隊載入被閾值阻塞時陷入反覆重試。