TorchTPU 發布:Transformers 與 Diffusers 原生支援 TPU
Hugging Face 宣布 PyTorch 原生 TPU 後端 TorchTPU 落地,Transformers、Diffusers 與 Kernels 現在可直接在 TPU 上執行,不再需要 torch_xla 或 Optimum TPU。安裝只需一條 pip 命令;
找到 5 筆
Hugging Face 宣布 PyTorch 原生 TPU 後端 TorchTPU 落地,Transformers、Diffusers 與 Kernels 現在可直接在 TPU 上執行,不再需要 torch_xla 或 Optimum TPU。安裝只需一條 pip 命令;
TorchTPU 將原生 torch.device("tpu") 後端接入 PyTorch,開發者無需改用 JAX 即可在 Google Cloud TPU 上訓練大模型。配套的 TorchTitan TPU 分支提供 SimpleFSDP、Graph Trainer 和自訂 Pallas 核心等生產級擴充套件,在稠密與 MoE 架構上取得較高 MFU。官方還給出最佳化 playbook、recipes 與 Hugging Face 建模後端,便於在 TPU 上擴充套件自有負載。
Google 開源 TorchTPU,讓 PyTorch 模型可直接跑在 TPU 上,PyPI 最新版本為 0.2.0。專案提供 TPU 的 ATen 核心實現、XLA 計算編譯快取,支援資料並行與張量並行分散式訓練,並接入 torch.compile() 圖模式執行,附帶 Llama、Qwen、ResNet、DLRM、minGPT、UNet 等範例。安裝要求 Python 3.11+,Marimo 互動筆記本需在 TPU VM(如 v6e 例項)上執行。
Google 宣布開源 TorchTPU,PyTorch 應用只需改配置、無需重寫程式碼,就能執行在 Google 的 TPU 與 Google Cloud 上。據稱 85% 的 AI 應用基於 PyTorch,而它的許多特性原本專為 Nvidia GPU 設計。前一天 Amazon 也發布 TorchNeuron 支援自家 Trainium,並向 PyTorch 主專案提交程式碼,把各項特性與 Nvidia 晶片解耦。
vLLM 與 SGLang 新增由 TorchTPU 驅動的原生 PyTorch 後端,開發者可用熟悉的 PyTorch 工具在 TPU 上執行並調優推理服務。引擎內建最佳化過的 TPU kernel、基於 TPU Sync 的 KV cache 管理和分離式 serving(disaggregated serving),這些能力由專案維護者與官方合作完成。