10 月 27 日,Liquid AI 發布 LFM3 系列,首發六款約 2B 引數的多模態模型,覆蓋文字、視覺、音訊、omni 與兩款決策模型,均派生自同一 LFM3-1.7B-Base 骨幹,開放權重已在 Hugging Face 放出,並上線官方 Playground 與 Liquid AI API。基座以 22… 看完整事件
Liquid AI 發布 LFM3:六個 2B 級多模態開源模型
Liquid AI 發布 LFM3 家族,首發六個約 2B 引數的多模態模型,均源自同一 LFM3-1.7B-Base 骨幹,覆蓋文字、視覺、音訊、omni 以及兩個決策模型。基座以 22T tokens 預訓練,最後 3.5T tokens 的中期訓練將上下文擴至 256K。架構由門控短卷積、256 token 滑窗注意力與全域性注意力三混合而成,8K 上下文下比 LFM2 快約 25%。
2B 級同一骨幹覆蓋文字、視覺、音訊與決策,硬體在環架構搜尋擴充套件到 14 種裝置與後端組合,並給出 8K 上下文約 25% 的提速,對打算在本地微調專用小模型的人最直接。
原標題:Introducing LFM3: Every Modality for Specialized Intelligence
閱讀原文
| 評分 | 68 / 68(平均 68,門檻 76) |
|---|---|
| 狀態 | 未入選 |
相關報導
Liquid AI 發布 LFM2.5-24B-A2B 端側 agent 模型
Liquid AI 發布 LFM2.5-24B-A2B:24B 引數、每 token 僅啟用 2B 的推理模型,面向端側私有 agent,權重開放,已在 Hugging Face 和官方 Playground 上線。它是 LFM2.5 系列最大也是最後一款模型,上下文從 32K 擴至 131K,詞表由 65K 翻倍到 128K,預訓練從 17T 擴到 33T token。
LiquidAI 發布 LFM2.5-Encoder 250M/350M 編碼器
LiquidAI 發布 LFM2.5-Encoder 系列,含 250M 與 350M 兩個版本,基於 LFM2 架構的雙向掩碼語言模型,支援 15 種語言、8k 上下文,可微呼叫於分類、檢索、重排與語義相似度等任務。官方稱其吞吐量持平或超過 ModernBERT,CPU 長上下文有優勢,並可在瀏覽器 WebGPU 上執行;GGUF 權重已上傳 Hugging Face,llama.cpp 已提交對應支援 PR。
LiquidAI 開源 d1-3B 與 d1-omni-600M 邊緣決策模型
LiquidAI 發布 d1 決策模型家族的兩款開放權重模型 d1-3B 與實驗性的 d1-omni-600M,二者都基於 Liquid Foundation Models,不逐 token 生成,而是在單次前向傳播中直接給出答案。d1-3B 在 Decision Index 0.2.1 上得 48.57,為 10B 以下最佳,超過 Decider 35B-A3B 的 47.11;
LM Studio 首日上線 Flint:40B MoE 本地編碼模型
Recursive SI 的 Flint 模型在發布首日就進入 LM Studio,可直接在本地執行。它是一個 40B 的 MoE 模型,每次僅啟用 2.5B 引數,上下文視窗為 262K token,採用 Apache 2.0 許可,專門針對本地 agentic coding 場景訓練。本地執行大約需要 24GB 記憶體,官方稱其基準測試表現相當出色。
LFM3 上線 LM Studio,記憶體佔用約 1 GB
LFM3 已在 LM Studio 上線,官方稱其執行時記憶體佔用約 1 GB,可在消費級硬體上本地載入。LM Studio 已開出該模型的頁面,使用者可在應用內直接下載使用。原文未披露引數量、上下文長度與授權條款等細節。