Qwen 27B 在 M5 Max 上輸出達 105 tok/s
Awni Hannun 稱 Qwen 27B dense 模型在 M5 Max 上輸出速度達 105 tok/s，並形容這一表現相當驚人。他同時表示這是在“一塊磚一塊磚地”突破記憶體牆。原文未說明所用推理框架、量化精度與上下文長度。
這條實測資料說明 Apple Silicon 跑本地大模型的吞吐又上了一個臺階，可作為你選購 Mac Studio 與評估 MLX 等推理棧的參考基線。
原標題：@awnihannun: Qwen 27B dense at 105 tok/s output on an m5 max is pretty bonkers.
閱讀原文
| 評分 | 82 / 88（平均 85，門檻 65） |
|---|---|
| 狀態 | 精選（舊聞，已歸檔） |