AISpot

搜尋

找到 5 筆

Google Developers blogAI 評分60

TorchTPU 把原生 TPU 後端接入 PyTorch

TorchTPU 將原生 torch.device("tpu") 後端接入 PyTorch,開發者無需改用 JAX 即可在 Google Cloud TPU 上訓練大模型。配套的 TorchTitan TPU 分支提供 SimpleFSDP、Graph Trainer 和自訂 Pallas 核心等生產級擴充套件,在稠密與 MoE 架構上取得較高 MFU。官方還給出最佳化 playbook、recipes 與 Hugging Face 建模後端,便於在 TPU 上擴充套件自有負載。

Hacker News front page● 精選AI 評分84

Google 開源 TorchTPU,為 TPU 提供 PyTorch 原生後端

Google 開源 TorchTPU,讓 PyTorch 模型可直接跑在 TPU 上,PyPI 最新版本為 0.2.0。專案提供 TPU 的 ATen 核心實現、XLA 計算編譯快取,支援資料並行與張量並行分散式訓練,並接入 torch.compile() 圖模式執行,附帶 Llama、Qwen、ResNet、DLRM、minGPT、UNet 等範例。安裝要求 Python 3.11+,Marimo 互動筆記本需在 TPU VM(如 v6e 例項)上執行。

TechCrunch AI● 精選AI 評分80

Google 開源 TorchTPU,PyTorch 應用改配置即可跑在 TPU 上

Google 宣布開源 TorchTPU,PyTorch 應用只需改配置、無需重寫程式碼,就能執行在 Google 的 TPU 與 Google Cloud 上。據稱 85% 的 AI 應用基於 PyTorch,而它的許多特性原本專為 Nvidia GPU 設計。前一天 Amazon 也發布 TorchNeuron 支援自家 Trainium,並向 PyTorch 主專案提交程式碼,把各項特性與 Nvidia 晶片解耦。

Google Developers blog● 精選AI 評分72

vLLM 與 SGLang 新增 TPU 原生 PyTorch 後端

vLLM 與 SGLang 新增由 TorchTPU 驅動的原生 PyTorch 後端,開發者可用熟悉的 PyTorch 工具在 TPU 上執行並調優推理服務。引擎內建最佳化過的 TPU kernel、基於 TPU Sync 的 KV cache 管理和分離式 serving(disaggregated serving),這些能力由專案維護者與官方合作完成。