PyTorch 2.15 為 MPS 加入 FP8，MoE 解碼提速 5–6.5 倍
PyTorch 2.15 在 MPS 後端加入 FP8 張量支援，並讓 MoE 模型解碼速度比 2.14 快 5–6.5 倍。在 M3 Ultra 上配合 torch.compile，Qwen3.6-35B-A3B 從 9.4 提升到 61.3 tokens/s，LFM2.5-8B-A1B 從 23.6 提升到 123.6 tokens/s，詞表 softmax 約快 8 倍。
Hugging Face 的 PyTorch 團隊給出 M3 Ultra 上的實測提速與記憶體數字，並首次在 MPS 支援 FP8，對在 Apple Silicon 上本地跑 LLM、影片生成的使用者有直接參考價值。
原標題：MPS in PyTorch 2.15
閱讀原文
| 評分 | 84 / 82（平均 83，門檻 65） |
|---|---|
| 狀態 | 精選 |
相關報導
176B MoE 模型在 16GB 視訊記憶體筆記本上跑通
開發者用自研開源推理引擎 TensorSharp，在 RTX 3080 Laptop（16GB 視訊記憶體）+32GB 記憶體+SSD 的普通筆記本上執行 Qwen3.8 Flash Next 176B。做法是量化加 MoE 感知的統一排程，把快取、視訊記憶體、記憶體和 SSD 按專家啟用情況分層協調。對比 Strata：解碼 11.09 對 10.24 tok/s，但整程耗時 16.54 秒對 62.15 秒。
Qwen3.8-27B 在 iPhone 18 神經引擎上跑出 70 tok/s 峰值
Qwen3.8-27B 已在 iPhone 18 的 Apple Neural Engine 上執行，解碼速度 15–60 tok/s；作者隨後確認 24K 上下文下 K/V 用 int8、delta net 保持 FP16，峰值可達 70 tok/s。模型基座是 PrismML 的 Bonsai-2，從 1.585 bpw 重新量化為 1.5 bpw（每 4 個權重 6 位向量量化），並加入約 2.8 bpw 的 dflash-2 草稿模型加速，代價是接受率小幅下降。
llama.cpp 的 OpenVINO 後端更新至 2026.4.1 並大幅最佳化 MoE 效能
ggml-openvino 後端更新到 2026.4.1，重點最佳化 Qwen3.5 MoE 推理效能，並新增推理效能分析、預設使用遠端輸出張量、磁碟快取模型直載（cache_only）等能力。在 Arc B390 上以 q4_asym64_all 重量化執行 gemma-4-26B-A4B，pp512 從 66.16 t/s 提升到 1608.73 t/s，tg128 從 25.94 提升到 26.46 t/s，困惑度基本不變。
llama.cpp b11540 發布：SYCL 加速 MXFP4 MoE 推理
llama.cpp 建置版本 b11540 發布，核心變更是 SYCL 後端通過算術解碼與權重重排加速 MXFP4 MoE 模型推理（PR #29809）。該版本同時提供 macOS、Linux、Windows、Android 與 openEuler 的預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16 等後端；
KTransformers-FineTune 讓 CPU 直接算 MoE 專家，微調吞吐最高提升 21.2 倍
清華 MADSys 實驗室與趨境科技提出 KTransformers-FineTune（KT-FT），讓 CPU 用主存中的權重直接完成 MoE 專家計算、GPU 只負責注意力，LoRA 微調吞吐達到 ZeRO-Offload 等解除安裝基線的 2.5～21.2 倍。該方案已作為執行後端接入 LlamaFactory，CPU 側用 AVX-512/AMX 指令集計算專家，支援微調與推理在同等硬體下一鍵執行。