AISpot

MLX 新版發布：4 臺 Mac Studio 叢集跑 816B 模型超 36 tokens/s

Apple Machine Learning Research評測地端推論開源開發工具研究

MLX 今日發布新版本，支援用 RDMA over Thunderbolt 把多臺 Mac Studio 組成叢集：4 臺 M5 Ultra 執行近萬億引數的 Muse Spark Open（816B MoE，NVFP4 精度）解碼超過 36 tokens/s，高於人類平均閱讀速度。單臺 512GB Mac Studio 可跑 Qwen 3.8 27B 與 Mistral Medium 3.5 128B，在 65,536 上下文下分別佔用最多 68GB 和 158GB 記憶體。

給出 4 臺 Mac Studio 經 RDMA 組叢集跑 816B MoE 模型的實測解碼速度，以及 M5 Ultra 對 M3 Ultra 的首 token 4.6 倍、解碼 1.6 倍提速與約 300W 峰值功耗資料，對在 Apple Silicon 上做本地推理與長上下文…

MLXMac StudioRDMAM5 UltraMuse Spark Open

原標題：Local and Distributed Large LLM Inference with MLX and RDMA on Mac Studio
閱讀原文

評分86 / 85（平均 85，門檻 60）
狀態精選

相關報導

Ollama releases● 精選AI 評分82

Ollama v0.40.0：Apple Silicon 預設用 MLX 執行模型

Ollama 發布 v0.40.0，在 Apple Silicon 裝置上，MLX 執行時支援的模型架構會自動改用 MLX 執行。官方範例為 ollama pull qwen3.8 與 ollama run qwen3.8，其他可用模型還包括 gemma4、qwen3.6 和 qwen3.5；決策模型 Nimble、tev1、clef、clef-flash 也已支援 MLX，並新增嵌入模型 embeddinggemma-2 支援。官方表示會繼續測試並啟用更多模型。

地端推論開源OllamaMLXApple Silicon本地推理Qwen
1 個來源 · 4 則報導閱讀原文
Ollama releasesAI 評分45

MLX v0.40.0-rc1 對齊發布方 tokenizer 語義

MLX 發布 v0.40.0-rc1，核心改動是讓本地 tokenizer 與模型發布方的語義保持一致，涵蓋預分詞階段順序、切分行為、Unicode 邊界、added token 歸一化和 BPE 合併排序，並統一處理空 added token 與空 Metaspace 輸入。同時新增 Go/Python 共享參考用例，直接拉取缺失模型並在出錯時失敗，另加配置優先順序、位元組回退與並行編碼的迴歸測試。

地端推論開發工具MLXtokenizerBPEUnicode
閱讀原文