10 月 15 日,輝達發布開源 1200 億引數模型 Nemotron 3.5 Super VL,同時推出兩款 Bolt 邊緣模型。據 NVIDIA 部落格,Super VL 主打多模態 agentic 任務,準確率接近其最大推理模型、引數量約為後者五分之一,吞吐量最高達同類模型 5 倍;Bolt 74B-A9B 2… 看完整事件
Nemotron 3.5 Bolt 74B-A9B 上架 Ollama,原生 2-bit 量化只需 24GB
Ollama 上線 NVIDIA Nemotron 3.5 Bolt 74B-A9B,官方稱其採用原生 2-bit 量化,可壓進 24GB 記憶體,並能與其他應用同時執行。該模型是視覺語言模型(VLM),定位是在本地處理日常 agentic 任務。執行 ollama run nemotron-3.5-bolt 即可拉取執行。
官方給出 74B 級 VLM 用原生 2-bit 量化跑在 24GB 記憶體的具體方案,本地跑 agentic 任務的視訊記憶體門檻再降一檔,對關注本地部署與量化的人有參考價值。
原標題:@ollama: NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB is now on Ollama
閱讀原文
| 評分 | 78 / 76(平均 77,門檻 60) |
|---|---|
| 狀態 | 精選 |
相關報導
Ollama 上線 LFM2.5 24B,一條命令本地執行
Ollama 模型庫新增 LFM2.5 24B,使用者可用一條命令 ollama run lfm2.5:24b 拉取並在本地執行。該模型引數規模為 24B,官方同時給出了對應的模型庫頁面連結,公告中未披露更多細節。
Ollama v0.40.0:Apple Silicon 預設用 MLX 執行模型
Ollama 發布 v0.40.0,在 Apple Silicon 裝置上,MLX 執行時支援的模型架構會自動改用 MLX 執行。官方範例為 ollama pull qwen3.8 與 ollama run qwen3.8,其他可用模型還包括 gemma4、qwen3.6 和 qwen3.5;決策模型 Nimble、tev1、clef、clef-flash 也已支援 MLX,並新增嵌入模型 embeddinggemma-2 支援。官方表示會繼續測試並啟用更多模型。
Ollama v0.40.3 暫停後臺模型升級以改善請求效能
Ollama 發布 v0.40.3,暫停了後臺模型升級,以改善 embedding 及其他請求的效能。該改動由維護者 jmorganca 提交,屬於行為調整:這一版本不再在後臺升級模型,以免拖慢推理與 embedding 請求。同時,ollama launch claude 不再彈出 Claude connectors 的警告,ollama launch codex 也不再提示 service tiers。