AISpot

@awnihannun: Pretty remarkable what two M5 Ultras + MLX can do now

X @awnihannun社群討論地端推論

MLX 開發者 Awni Hannun 稱,兩臺 M5 Ultra 搭配 MLX 現在能做出相當驚人的結果。推文只有這一句,沒有給出模型、任務型別、速度或視訊記憶體資料,也沒有說明是推理還是訓練。可確認的只有硬體與框架組合:雙 M5 Ultra 加 MLX。

原標題:@awnihannun: Pretty remarkable what two M5 Ultras + MLX can do now
閱讀原文

評分22 / 20(平均 21,門檻 65)
狀態未入選

相關報導

Apple Machine Learning Research● 精選AI 評分85

MLX 新版發布:4 臺 Mac Studio 叢集跑 816B 模型超 36 tokens/s

MLX 今日發布新版本,支援用 RDMA over Thunderbolt 把多臺 Mac Studio 組成叢集:4 臺 M5 Ultra 執行近萬億引數的 Muse Spark Open(816B MoE,NVFP4 精度)解碼超過 36 tokens/s,高於人類平均閱讀速度。單臺 512GB Mac Studio 可跑 Qwen 3.8 27B 與 Mistral Medium 3.5 128B,在 65,536 上下文下分別佔用最多 68GB 和 158GB 記憶體。

Ollama releasesAI 評分45

v0.40.5

Ollama 發布 v0.40.5,把 MLX 的 Metal 自訂核心移植到 CUDA,並同步提升 MLX 版本號。該版本還讓 OpenAI 相容介面在 Responses 歷史中接受自訂工具呼叫,更新了文件中的模型推薦與用語規範;桌面應用則改進了雲端支付錯誤的提示。新貢獻者 @willietran 提交了支付提示這項改動。

Ollama releases● 精選AI 評分82

Ollama v0.40.0:Apple Silicon 預設用 MLX 執行模型

Ollama 發布 v0.40.0,在 Apple Silicon 裝置上,MLX 執行時支援的模型架構會自動改用 MLX 執行。官方範例為 ollama pull qwen3.8 與 ollama run qwen3.8,其他可用模型還包括 gemma4、qwen3.6 和 qwen3.5;決策模型 Nimble、tev1、clef、clef-flash 也已支援 MLX,並新增嵌入模型 embeddinggemma-2 支援。官方表示會繼續測試並啟用更多模型。

Ollama releasesAI 評分45

MLX v0.40.0-rc1 對齊發布方 tokenizer 語義

MLX 發布 v0.40.0-rc1,核心改動是讓本地 tokenizer 與模型發布方的語義保持一致,涵蓋預分詞階段順序、切分行為、Unicode 邊界、added token 歸一化和 BPE 合併排序,並統一處理空 added token 與空 Metaspace 輸入。同時新增 Go/Python 共享參考用例,直接拉取缺失模型並在出錯時失敗,另加配置優先順序、位元組回退與並行編碼的迴歸測試。