AISpot

MLX 新增 Flint 模型支援,保留工具 JSON 數值型別

Ollama releases版本更新地端推論開源

MLX 後端在 v0.40.8 中加入 Flint 模型支援。為讓 Flint 在 prompt 裡保留數值型別與 schema 順序,解碼後的 API 值旁會同時保留原始工具 JSON;safetensors 匯入時會組裝 ModelOpt expert banks,並在轉換前拒絕直接建立 Flint NVFP4。

原標題:v0.40.8: mlx: add Flint model support (#19181)
閱讀原文

評分45 / 42(平均 43,門檻 60)
狀態未入選

原文

Preserve source tool JSON alongside decoded API values so Flint can retain numeric types and schema order in prompts. Existing API marshaling is unchanged. Assemble ModelOpt expert banks during safetensors import, and reject direct Flint NVFP4 creation before conversion. Other models retain their existing import and quantization paths. Add optional learned sinks and device causal masks to shared MLX attention. Existing callers retain the no-sink and host-mask paths; Flint opts into the new behavior.

相關報導

TechCrunch AI● 精選AI 評分78

Recursive 發布免費編碼模型 Flint,可在筆記本本地執行

Recursive 發布免費編碼模型 Flint,以 Apache 2.0 許可在 Hugging Face 開放下載,可在筆記本上離線執行。它是 40B 引數的混合專家模型,每次只啟用 2.5B 引數;在搭載 M4 Pro 的 MacBook Pro 上約 131 tokens/秒,約為同機 Gemma 4、Nemotron 3.5 Lightning 的兩倍;在 SWE-Bench Verified 上優於所有 50B 以下模型。

Ollama releasesAI 評分42

v0.40.5:MLX 的 Metal 自訂核心移植到 CUDA

v0.40.5 把 MLX 原本為 Metal 寫的自訂核心移植到 CUDA,MLX 推理路徑由此延伸到 NVIDIA GPU。同一版本中,OpenAI 相容層可在 Responses 歷史裡接受自訂工具呼叫,應用端澄清了雲支付報錯提示,文件更新模型推薦並統一措辭。此外還有 MLX 的版本號提升,以及新貢獻者 @willietran 的首次提交。

Ollama releasesAI 評分45

MLX v0.40.0-rc1 對齊發布方 tokenizer 語義

MLX 發布 v0.40.0-rc1,核心改動是讓本地 tokenizer 與模型發布方的語義保持一致,涵蓋預分詞階段順序、切分行為、Unicode 邊界、added token 歸一化和 BPE 合併排序,並統一處理空 added token 與空 Metaspace 輸入。同時新增 Go/Python 共享參考用例,直接拉取缺失模型並在出錯時失敗,另加配置優先順序、位元組回退與並行編碼的迴歸測試。

Ollama releases● 精選AI 評分82

Ollama v0.40.0:Apple Silicon 預設用 MLX 執行模型

Ollama 發布 v0.40.0,在 Apple Silicon 裝置上,MLX 執行時支援的模型架構會自動改用 MLX 執行。官方範例為 ollama pull qwen3.8 與 ollama run qwen3.8,其他可用模型還包括 gemma4、qwen3.6 和 qwen3.5;決策模型 Nimble、tev1、clef、clef-flash 也已支援 MLX,並新增嵌入模型 embeddinggemma-2 支援。官方表示會繼續測試並啟用更多模型。