vLLM 與 SGLang 新增 TPU 原生 PyTorch 後端
vLLM 與 SGLang 新增由 TorchTPU 驅動的原生 PyTorch 後端，開發者可用熟悉的 PyTorch 工具在 TPU 上執行並調優推理服務。引擎內建最佳化過的 TPU kernel、基於 TPU Sync 的 KV cache 管理和分離式 serving（disaggregated serving），這些能力由專案維護者與官方合作完成。
vLLM 與 SGLang 這次獲得 TPU 原生 PyTorch 後端，KV cache 管理與分離式 serving 已可用於生產，並附有 Ironwood TPU 上的效能與成本基準，對 TPU 推理部署者最有用。
原標題：Announcing New vLLM and SGLang Inference Engines on TPU
閱讀原文
| 評分 | 70 / 75（平均 72，門檻 65） |
|---|---|
| 狀態 | 精選 |
相關報導
Google 開源 TorchTPU，為 TPU 提供 PyTorch 原生後端
Google 開源 TorchTPU，讓 PyTorch 模型可直接跑在 TPU 上，PyPI 最新版本為 0.2.0。專案提供 TPU 的 ATen 核心實現、XLA 計算編譯快取，支援資料並行與張量並行分散式訓練，並接入 torch.compile() 圖模式執行，附帶 Llama、Qwen、ResNet、DLRM、minGPT、UNet 等範例。安裝要求 Python 3.11+，Marimo 互動筆記本需在 TPU VM（如 v6e 例項）上執行。
llama.cpp b11572 新增 vLLM d3 模型支援
llama.cpp 發布 b11572，新增對 vLLM d3 模型的支援（d2 同步更新），並加入 pplx-decider 模型支援，同時澄清命名規則、加強校驗。該版本照例提供 macOS/iOS、Linux、Windows、Android、openEuler 的預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及驍龍 CPU/Adreno GPU/Hexagon NPU 等後端。
越獄 PS5 用 GPU 跑 llama.cpp，變成區域網模型伺服器
PS5LM 把 llama.cpp 的 Vulkan 後端搬到越獄 PS5 的 RDNA 2 GPU 上，用 11.4 GB 共享記憶體把主機變成家用模型伺服器，對外提供 OpenAI 與 Anthropic 介面，Claude Code 等客戶端可直接連。實測 Qwen 3.5 9B Q4_K_M 約 55 tokens/秒，27B 的 UD-Q2_K_XL 約 20 tokens/秒、64k 上下文；
llama.cpp b11540 發布：SYCL 加速 MXFP4 MoE 推理
llama.cpp 建置版本 b11540 發布，核心變更是 SYCL 後端通過算術解碼與權重重排加速 MXFP4 MoE 模型推理（PR #29809）。該版本同時提供 macOS、Linux、Windows、Android 與 openEuler 的預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16 等後端；
llama.cpp b11515：SYCL 加入 Q5_K 重排 MMVQ 與融合 GLU
llama.cpp 發布 b11515，主要變更是 SYCL 後端為 Q5_K 量化補上重排佈局的 MMVQ 核心，並加入融合 GLU（#29375），面向 Intel GPU 的量化推理。建置矩陣照舊覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，包含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16 等後端；