MLX LM v0.30.6 發布:新增 Kimi-K2.5 與伺服器分散式推理
MLX LM 發布 v0.30.6,新增 Kimi-K2.5、LongCat Flash/Lite 和 Step 3.5 Flash 等模型支援,並引入 Transformers v5。服務端加入分散式推理,支援 chat_template_kwargs、top_logprobs 與載入自定義模型,同時新增 CLI。
如果你準備用 Mac Studio 跑本地模型,這個版本新增多款模型、伺服器分散式推理與自定義模型載入,升級後可直接在 MLX 上測試這些能力。
原標題:v0.30.6
閱讀原文
| 評分 | 76 / 82(平均 79,門檻 60) |
|---|---|
| 狀態 | 精選(舊聞,已歸檔) |