AISpot

搜尋

找到 3 筆;也可以試試 語意搜尋

Hacker News front page● 精選AI 評分84

Google 開源 TorchTPU,為 TPU 提供 PyTorch 原生後端

Google 開源 TorchTPU,讓 PyTorch 模型可直接跑在 TPU 上,PyPI 最新版本為 0.2.0。專案提供 TPU 的 ATen 核心實現、XLA 計算編譯快取,支援資料並行與張量並行分散式訓練,並接入 torch.compile() 圖模式執行,附帶 Llama、Qwen、ResNet、DLRM、minGPT、UNet 等範例。安裝要求 Python 3.11+,Marimo 互動筆記本需在 TPU VM(如 v6e 例項)上執行。

Google Developers blog● 精選AI 評分78

MaxText 在 TPU 上完整復現 Olmo 3 7B 預訓練

MaxText 團隊用 JAX/XLA 在 Google Cloud TPU 上從零復現了 Ai2 的 Olmo 3 7B 語言模型,預訓練與中期訓練各階段在所有留出評測上均與原始 PyTorch-on-GPU 參考結果精確一致。實現最高達到 57.4% 的模型浮點運算利用率(MFU),並在不修改訓練配方的情況下經受住執行中叢集擴縮容與跨代 TPU 切換。該案例還暴露出一個資料載入器記憶化 bug,它人為壓低了訓練損失,靠完整留出驗證才被發現。