X @lmstudioAI 評分57
LFM3 上線 LM Studio，記憶體佔用約 1 GB
LFM3 已在 LM Studio 上線，官方稱其執行時記憶體佔用約 1 GB，可在消費級硬體上本地載入。LM Studio 已開出該模型的頁面，使用者可在應用內直接下載使用。原文未披露引數量、上下文長度與授權條款等細節。
搜尋
找到 7 筆
llama.cpp releasesAI 評分42
llama.cpp b11884 修復 DRY 取樣耗盡 CPU 與記憶體
llama.cpp 發布 b11884 建置，修復 DRY 取樣（dry sequence breaker）導致 CPU 與記憶體被耗盡的問題，對應 PR #31035。
Google Developers blog● 精選AI 評分71
EmbeddingGemma 2 開源多模態嵌入模型，768 維統一空間
EmbeddingGemma 2 是一個緊湊的開源多模態嵌入模型，把文字、程式碼、影像、影片和音訊對映到統一的 768 維向量空間。開發者可通過 sentence-transformers 庫選擇性載入模組化模態編碼器，引數量在 270M 到 740M 之間，以最佳化記憶體佔用。模型還採用 Matryoshka 表示學習，支援將維度動態截斷至 128 維，在保持較高檢索效能的同時顯著降低向量資料庫的儲存需求。
Meta AI blogAI 評分42
Meta 開源視覺模型 DINO 與 SAM 用於匹茲堡大學輔助機器人
匹茲堡大學人類工程研究實驗室（HERL）在 ARPA-H 最高 4150 萬美元資助下推進 RAMMP 輔助機器人專案，採用 Meta 開源視覺模型 DINO 與 SAM。團隊將 DINOv3 和 SAM 部署到電池供電的邊緣裝置上，通過降低記憶體佔用、使用低精度和高效批處理來保證即時執行，原型已能識別自動門按鈕、杯子和路緣。該功能面向美國約 550 萬輪椅使用者，目前正進入真實環境測試，並加入語音與觸控互動。
llama.cpp releasesAI 評分42
llama.cpp 最佳化 lightning indexer 視訊記憶體與多後端支援
llama.cpp 合併多項改動，將 indexer 分數視訊記憶體佔用減半：原先同時存在兩個 [n_pool, n_idx_h, n_tokens] f32 張量，現改為逐頭計算並原地累加為單個 [n_pool, n_tokens] 分數。同時 CUDA 支援 4 頭、Metal 以函式常量讀取頭數、Vulkan 按 64 鍵×8 token 分塊並改用 fp16 點積，indexer 改為呼叫 ggml_lightning_indexer 且鍵只讀一次。
r/LocalLLaMA top of the dayAI 評分70
llama.cpp 新 PR 將 Qwen4 索引器視訊記憶體減半
llama.cpp 的 PR #29825 通過最佳化索引器分數記憶體，把 Qwen Flash Next 等 Qwen4 模型的視訊記憶體佔用減半。實測在上下文 131072、ub 2048 時從 3.0 GiB 降至 1.5 GiB，262144、ub 4096 時從 11.7 GiB 降至 5.6 GiB。作者稱 logits 逐位一致、pp/tg 速度不變，僅分數因 fp32 舍入有差異；有使用者反饋解碼速度約降 10%。
Qwen blog● 精選AI 評分80
阿里開源 Qwen-Image-2.1，7B 引數統一生成與編輯
阿里開源 Qwen-Image-2.1，將文生圖與影像編輯統一到單一模型，視覺生成元件僅 7B 引數，原生支援生成和編輯透明影像。該模型最多可接受 10 張參考圖，支援圈選、塗抹和獨立掩碼三種區域性編輯方式，並提升人像身份與商品一致性。採用混合粒度注意力架構，KV cache 複用輸入影像與編輯指令以降低視訊記憶體佔用，權重已在 GitHub、Hugging Face 和 ModelScope 發布。