@awnihannun: Pretty remarkable what two M5 Ultras + MLX can do now
MLX 開發者 Awni Hannun 稱,兩臺 M5 Ultra 搭配 MLX 現在能做出相當驚人的結果。推文只有這一句,沒有給出模型、任務型別、速度或視訊記憶體資料,也沒有說明是推理還是訓練。可確認的只有硬體與框架組合:雙 M5 Ultra 加 MLX。
原標題:@awnihannun: Pretty remarkable what two M5 Ultras + MLX can do now
閱讀原文
| 評分 | 22 / 20(平均 21,門檻 65) |
|---|---|
| 狀態 | 未入選 |
相關報導
MLX 新版發布:4 臺 Mac Studio 叢集跑 816B 模型超 36 tokens/s
MLX 今日發布新版本,支援用 RDMA over Thunderbolt 把多臺 Mac Studio 組成叢集:4 臺 M5 Ultra 執行近萬億引數的 Muse Spark Open(816B MoE,NVFP4 精度)解碼超過 36 tokens/s,高於人類平均閱讀速度。單臺 512GB Mac Studio 可跑 Qwen 3.8 27B 與 Mistral Medium 3.5 128B,在 65,536 上下文下分別佔用最多 68GB 和 158GB 記憶體。
v0.40.5
Ollama 發布 v0.40.5,把 MLX 的 Metal 自訂核心移植到 CUDA,並同步提升 MLX 版本號。該版本還讓 OpenAI 相容介面在 Responses 歷史中接受自訂工具呼叫,更新了文件中的模型推薦與用語規範;桌面應用則改進了雲端支付錯誤的提示。新貢獻者 @willietran 提交了支付提示這項改動。
Ollama v0.40.0:Apple Silicon 預設用 MLX 執行模型
Ollama 發布 v0.40.0,在 Apple Silicon 裝置上,MLX 執行時支援的模型架構會自動改用 MLX 執行。官方範例為 ollama pull qwen3.8 與 ollama run qwen3.8,其他可用模型還包括 gemma4、qwen3.6 和 qwen3.5;決策模型 Nimble、tev1、clef、clef-flash 也已支援 MLX,並新增嵌入模型 embeddinggemma-2 支援。官方表示會繼續測試並啟用更多模型。
MLX 0.32.4 發布:Metal 新增 1-bit 仿射量化
MLX 發布 0.32.4,Metal 後端新增 1-bit 仿射量化支援,mlx.core.fft 新增 stft 與 istft 音訊變換運算元。同版本加入 Python 3.15 與 3.15t 支援、整數整除原語 FloorDivide、SDPA 與 gated delta net 的 VJP,並新增 MLX_CONV_WINOGRAD 開關以停用 conv2d 的 Winograd 實現。
MLX v0.40.0-rc1 對齊發布方 tokenizer 語義
MLX 發布 v0.40.0-rc1,核心改動是讓本地 tokenizer 與模型發布方的語義保持一致,涵蓋預分詞階段順序、切分行為、Unicode 邊界、added token 歸一化和 BPE 合併排序,並統一處理空 added token 與空 Metaspace 輸入。同時新增 Go/Python 共享參考用例,直接拉取缺失模型並在出錯時失敗,另加配置優先順序、位元組回退與並行編碼的迴歸測試。