開發者 roofkid 發布 Ninfer 4080，讓 RTX 4080 16GB 顯示卡以 100k 上下文執行 ISTA-DASLab-Qwen-3.8-27B-GSQ，最高預填充 2720 tok/s、生成 262 tok/s，程式碼已在 GitHub 開源並提供 Docker 映象。它採用 DFlash2 投機解碼，作者稱預填充與生成速度明顯優於 llama.cpp、vllm 等通用推理引擎，代價是 KV 量化帶來輕微精度損失。
llama.cpp 合併 PR #29570，在 Metal 後端新增基於 tensor API 的 flash attention 核心，支援 F16 KV 快取。同一批提交還補充了 DK=DV=512、DK=576/DV=512、DK=192/DV=128 等形狀的 tensor FA 核心，並支援 attention sinks、ALiBi 與 logit softcap。
Ollama v0.35.1 新增對 Cloudflare 開源決策模型 Clef（27B）與 Clef Flash（9B）的支援，通過 /v1/systemone 呼叫。兩者支援多模態，請求可同時傳入圖片與文字 state，所有 questions 共享該狀態並聯合打分，返回如 noul 機率 0.958 的答案。
Ollama v0.35.0 新增決策模型支援，通過 /v1/systemone 端點呼叫，基於 TypeSafe 的 Jev API。這類模型不返回文字，而是返回選擇、機率和分數，適合工單分流、模型路由和內容分類；目前可用 Bespoke Labs 的 Nimble 和 Together AI 的 Tev1，用 ollama pull nimble 拉取。
v0.35.1-rc0 為 create 請求新增可疊加的 capabilities 欄位，Modelfile 也可直接寫 CAPABILITY 宣告，且這些宣告會在 GGUF 與 safetensors 的建立、繼承和 Modelfile 匯出中保留。排程 System One 請求前改為要求 decision capability，不再靠匹配 Qwen 的架構/renderer 後設資料。
MLX 發布 v0.32.3，一批修復覆蓋 Metal、CUDA 與 CPU 後端，並新增面向 M5 的非量化 matmul 調優。Metal 側加入 gated delta nets 核心與 fast.cross_entropy 融合核心，降低 SDPA D256/D512 記憶體佔用，同時修復 fp 量化 matmul 在量化維度非 32 倍數時的結果損壞、GGUF 張量維度校驗與零尺寸軸的 scan/sort。
Ollama 0.35 起支援基於 TypeSafe Jev API 的決策模型：通過新的 /v1/systemone 端點，把文字作為 state、配上一組命名問題，本機模型在一次請求裡全部作答，且無額外費用。首批三個模型為 Bespoke Labs 的 9B nimble，以及 Together AI 的實驗性 4B tev1 和 0.8B tev1:0.8b，用 ollama pull 即可下載，可通過 curl 或 TypeSafe 官方 Python SDK 呼叫。
Ollama 發布 v0.40.0，在 Apple Silicon 裝置上，MLX 執行時支援的模型架構會自動改用 MLX 執行，無需手動切換。用法與以往一致，例如 ollama pull qwen3.8 後 ollama run qwen3.8。該版本目前為預發布版（v0.40.0-rc0，變更範圍 v0.34.4 到 v0.40.0-rc0），官方稱預發布期間會測試並啟用更多模型，尚未說明具體支援清單與效能差異。
v0.34.4 發布，更新了 llama.cpp、MLX 和 XGrammar，Qwen 3.8 的提示處理在 Apple Silicon 上更快，Gemma 4 會為每張圖片自動選擇最佳解析度以保留更多高畫質細節。思考模型的結構化輸出改為單次推理完成，速度更快也更可靠；同時修復了本地模型庫很大時偶發的 model not found 報錯，以及 macOS 應用在檢測 ChatGPT 或 Codex 是否執行時無回應的問題。
Apple 已經提供一個名為 MLX 的工具，用於在 Apple 硬體上高效執行 AI 模型。該資訊由 @awnihannun 在 2026 年 9 月 17 日發布，正文僅確認 MLX 的存在與用途，未提及具體效能資料、支援模型或使用限制。
該開源張量框架的 v0.32.2 版本發布，內容以 bug 修復和核心效能最佳化為主，未附基準數字。修復包括量化切片陣列、float divmod 商被截斷、median 丟棄 NaN、einsum 丟失尾部空下標、轉 bool 時丟失 subnormal 浮點值等。
Apple 的 MLX 框架發布 v0.32.1，集中修復 Metal 與 CUDA 後端的推理、量化與文件問題，並加入多項效能最佳化。Metal 側新增 gemv_wide 加速 fp16/bf16 少行矩陣乘，全注意力支援 head dimension 96，統一記憶體上可用 mx.array(host_buffer, copy=False) 零複製匯入。
NVIDIA 的 30B 總引數（3B 啟用）開源模型 Nemotron 3.5 Lightning 已上線 Ollama，可完全在本地裝置執行。它採用混合 MoE 架構，支援最長 1M token 上下文，並用多 token 預測、DFlash 或 DSpark 投機解碼，吞吐達同類開源模型 4 倍、任務完成時間快 30%，面向呼叫工具、跑測試、檢索程式碼庫等長時 agent 任務。
Muse Glimmer 現已在 Ollama 上線，這是 Meta Superintelligence Labs 發布的首個開放模型。它是 30B 多模態模型，專為本地執行的 agent 工作負載設計，上下文 128K 以上，採用 Apache 2.0 許可，可直接驅動 Claude Code、Codex、Pi、OpenClaw 等。
Apple 的 MLX 發布 v0.32.0，包含大量修復與改進。iOS 上 Metal 後端預設啟用；CUDA kernel 新增 JIT 編譯快取，qmm_naive 也改為 JIT 編譯；mlx.core.linalg 新增 determinant 與 sign-log-determinant，mx.asarray 增加 copy 關鍵字，finfo 增加 bits 與 smallest_normal。
MLX 在 2026-04-22 發布補丁版 v0.31.3，以大量 bug 修復為主，並新增執行緒本地生成流（thread local generation stream），配合 MLX v0.31.2。修復覆蓋 BatchKVCache、BatchRotatingKVCache 與 ArraysCache 的 batch 維度不匹配，以及服務端並行工具呼叫、MiniMax M2 並行工具呼叫和 Mistral 空 tool_call_end 導致的工具呼叫中斷。
MLX 發布 v0.31.2，把 CUDA 後端的量化矩陣乘擴充套件到了 3/5/6-bit、int4 與浮點量化（qmm_naive、qmm_sm80），並新增 GatherQMM 和 CUDA FFT。框架現在支援多執行緒執行獨立計算：CommandEncoder、ThreadLocalStream 改為執行緒本地，Scheduler::enqueue 執行緒安全，JACCL 拆分為獨立庫。
MLX 生態的 mlx_lm 發布 v0.31.2（上一版為 v0.31.0），重點是新增 Gemma 4 支援，包括工具呼叫解析器、多 token 的 think 與工具起止標記，並修復其量化逐層投影載入。此次還重構了 BatchGenerator、為非裁剪型快取快取系統提示與使用者訊息，批處理生成器恢復 max-kv-size 引數，伺服器新增 --allowed-origins 選項，並加入 Nemotron super 支援。
v0.31.0 發布，從 v0.30.7 升級而來，新增 JoyAI LLM Flash 模型支援，併為 Qwen 3.5 加入張量並行；同時允許共享模型，修復 CacheList 儲存與載入、MLA 模型混合量化判斷、Qwen3.5 轉 fp32 與 sanitize、MiniMax M2.5 分片 RMS norm。
2026 年 2 月 12 日發布的 v0.30.7 修復了 Kimi Linear 與 DeepSeek V3.2 的 indexer 和權重載入問題，並加快 DSV32 生成速度。這一版新增 GLM5、不含視覺能力的 Qwen3.5 系列與 LongCat MLA 支援，LFM2 模型可用 Pythonic 方式呼叫工具，另加入 Mistral 工具解析器。訓練流程中的驗證集改為可選，還有一項為下一版本提號的版本號變更。
MLX LM 發布 v0.30.6，新增 Kimi-K2.5、LongCat Flash/Lite 和 Step 3.5 Flash 等模型支援，並引入 Transformers v5。服務端加入分散式推理，支援 chat_template_kwargs、top_logprobs 與載入自訂模型，同時新增 CLI。