MLX 新增 Flint 模型支援,保留工具 JSON 數值型別
MLX 後端在 v0.40.8 中加入 Flint 模型支援。為讓 Flint 在 prompt 裡保留數值型別與 schema 順序,解碼後的 API 值旁會同時保留原始工具 JSON;safetensors 匯入時會組裝 ModelOpt expert banks,並在轉換前拒絕直接建立 Flint NVFP4。
原標題:v0.40.8: mlx: add Flint model support (#19181)
閱讀原文
| 評分 | 45 / 42(平均 43,門檻 60) |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
Recursive 發布免費編碼模型 Flint,可在筆記本本地執行
Recursive 發布免費編碼模型 Flint,以 Apache 2.0 許可在 Hugging Face 開放下載,可在筆記本上離線執行。它是 40B 引數的混合專家模型,每次只啟用 2.5B 引數;在搭載 M4 Pro 的 MacBook Pro 上約 131 tokens/秒,約為同機 Gemma 4、Nemotron 3.5 Lightning 的兩倍;在 SWE-Bench Verified 上優於所有 50B 以下模型。
v0.40.5:MLX 的 Metal 自訂核心移植到 CUDA
v0.40.5 把 MLX 原本為 Metal 寫的自訂核心移植到 CUDA,MLX 推理路徑由此延伸到 NVIDIA GPU。同一版本中,OpenAI 相容層可在 Responses 歷史裡接受自訂工具呼叫,應用端澄清了雲支付報錯提示,文件更新模型推薦並統一措辭。此外還有 MLX 的版本號提升,以及新貢獻者 @willietran 的首次提交。
MLX 0.32.4 發布:Metal 新增 1-bit 仿射量化
MLX 發布 0.32.4,Metal 後端新增 1-bit 仿射量化支援,mlx.core.fft 新增 stft 與 istft 音訊變換運算元。同版本加入 Python 3.15 與 3.15t 支援、整數整除原語 FloorDivide、SDPA 與 gated delta net 的 VJP,並新增 MLX_CONV_WINOGRAD 開關以停用 conv2d 的 Winograd 實現。
MLX v0.40.0-rc1 對齊發布方 tokenizer 語義
MLX 發布 v0.40.0-rc1,核心改動是讓本地 tokenizer 與模型發布方的語義保持一致,涵蓋預分詞階段順序、切分行為、Unicode 邊界、added token 歸一化和 BPE 合併排序,並統一處理空 added token 與空 Metaspace 輸入。同時新增 Go/Python 共享參考用例,直接拉取缺失模型並在出錯時失敗,另加配置優先順序、位元組回退與並行編碼的迴歸測試。
Ollama v0.40.0:Apple Silicon 預設用 MLX 執行模型
Ollama 發布 v0.40.0,在 Apple Silicon 裝置上,MLX 執行時支援的模型架構會自動改用 MLX 執行。官方範例為 ollama pull qwen3.8 與 ollama run qwen3.8,其他可用模型還包括 gemma4、qwen3.6 和 qwen3.5;決策模型 Nimble、tev1、clef、clef-flash 也已支援 MLX,並新增嵌入模型 embeddinggemma-2 支援。官方表示會繼續測試並啟用更多模型。