Ollama 新增 Nemotron 3.5 Bolt E4B 視覺模型
Ollama v0.40.10 加入 NVIDIA Nemotron 3.5 Bolt E4B,這是 NVIDIA 基於 Gemma 4 的小型視覺語言模型,面向本地對話、影像理解與工具呼叫。它支援 128K token 上下文,並自帶 DFlash 草稿模型用於投機解碼;執行 ollama run nemotron-3.5-bolt:e4b 即可執行。
NVIDIA 把視覺語言模型做到 E4B 這一較小規模,還配了投機解碼草稿與 128K 上下文,為在 Ollama 上本地做影像理解與工具呼叫的開發者提供了新的輕量選項。
原標題:v0.40.10
閱讀原文
| 評分 | 65 / 62(平均 63,門檻 60) |
|---|---|
| 狀態 | 精選 |
全文翻譯
由 AI 翻譯,以原文為準。
原文
相關報導
Ollama 上線 Recursive Flint 40B 編碼模型
Ollama v0.40.8 加入 Recursive 的編碼模型 Flint,執行 ollama run flint 即可執行。Flint 採用 Apache 2.0 許可,是 40B 引數的混合專家(MoE)模型,每個 token 約啟用 2.5B 引數,支援推理、多輪工具呼叫與 262K token 上下文,面向跨倉庫的程式碼理解、缺陷追蹤、功能實現與補測試。
llama.cpp b11540 發布:SYCL 加速 MXFP4 MoE 推理
llama.cpp 建置版本 b11540 發布,核心變更是 SYCL 後端通過算術解碼與權重重排加速 MXFP4 MoE 模型推理(PR #29809)。該版本同時提供 macOS、Linux、Windows、Android 與 openEuler 的預編譯包,覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16 等後端;
v0.40.5:MLX 的 Metal 自訂核心移植到 CUDA
v0.40.5 把 MLX 原本為 Metal 寫的自訂核心移植到 CUDA,MLX 推理路徑由此延伸到 NVIDIA GPU。同一版本中,OpenAI 相容層可在 Responses 歷史裡接受自訂工具呼叫,應用端澄清了雲支付報錯提示,文件更新模型推薦並統一措辭。此外還有 MLX 的版本號提升,以及新貢獻者 @willietran 的首次提交。
llama.cpp 修復 qwen4exp 層輸入,DFlash 草稿推理不再中止
llama.cpp 修復了以 qwen4exp 為目標模型時 DFlash 草稿模型在首個請求即中止的問題。原因是 qwen4exp 把 hc-wide 殘差以 [n_embd, hc, n_tokens] 三維形式發布為 t_layer_inp,而 drafter 按 [n_embd, n_tokens] 兩維讀取,寬度與 llama_context 中按 n_embd * n_batch 分配的緩衝區不符,在 extract_layer_inputs 處直接失敗。
Ollama v0.40.0:Apple Silicon 預設用 MLX 執行模型
Ollama 發布 v0.40.0,在 Apple Silicon 裝置上,MLX 執行時支援的模型架構會自動改用 MLX 執行。官方範例為 ollama pull qwen3.8 與 ollama run qwen3.8,其他可用模型還包括 gemma4、qwen3.6 和 qwen3.5;決策模型 Nimble、tev1、clef、clef-flash 也已支援 MLX,並新增嵌入模型 embeddinggemma-2 支援。官方表示會繼續測試並啟用更多模型。