搜尋

PyTorch 2.15 為 MPS 加入 FP8，MoE 解碼提速 5–6.5 倍

PyTorch 2.15 在 MPS 後端加入 FP8 張量支援，並讓 MoE 模型解碼速度比 2.14 快 5–6.5 倍。在 M3 Ultra 上配合 torch.compile，Qwen3.6-35B-A3B 從 9.4 提升到 61.3 tokens/s，LFM2.5-8B-A1B 從 23.6 提升到 123.6 tokens/s，詞表 softmax 約快 8 倍。