Google 補全 Coral NPU 開源架構，邊緣推理 1 TOPS、功耗 10 mW
Google Research 補全了 32 位開源 Coral NPU 的 RISC-V 架構，新增 Matrix Execution Unit 後邊緣推理最高 1 TOPS，平均功耗目標 10 mW。同步釋出 v1.0 開源 IREE/MLIR 編譯器，JAX、PyTorch、TensorFlow 模型可直接編譯到 Coral NPU，不必手寫彙編，從模型到晶片共用一條開源工具鏈。
官方給出 1 TOPS 算力與 10 mW 平均功耗目標，並把編譯器開源，讓邊緣模型無需手寫彙編即可上芯；對做低功耗端側推理和 RISC-V 晶片選型的開發者最有參考價值。
原標題：Unifying Edge AI: How Coral NPU’s open standard brings portable, energy-viable intelligence from model to silicon
閱讀原文
| 評分 | 73 / 66（平均 69，門檻 65） |
|---|---|
| 狀態 | 精選 |
相關報導
Google 開源 TorchTPU，為 TPU 提供 PyTorch 原生後端
Google 開源 TorchTPU，讓 PyTorch 模型可直接跑在 TPU 上，PyPI 最新版本為 0.2.0。專案提供 TPU 的 ATen 核心實現、XLA 計算編譯快取，支援資料並行與張量並行分散式訓練，並接入 torch.compile() 圖模式執行，附帶 Llama、Qwen、ResNet、DLRM、minGPT、UNet 等範例。安裝要求 Python 3.11+，Marimo 互動筆記本需在 TPU VM（如 v6e 例項）上執行。
Google 發布 ML Drift：端側通用 GPU 推理框架
Google AI Edge 推出 ML Drift，一個面向端側 AI 與機器學習推理的高效能通用 GPU 計算框架。它把 OpenGL ES、OpenCL、Metal、WebGPU 等底層硬體與圖形計算 API 抽象掉，讓開發者無需直接處理這些介面，就能在移動端與桌面端建置即時互動式 ML 體驗，覆蓋從複雜影片特效到生成式 AI 的場景。
Model Explorer 支援自訂編譯器 IR 視覺化除錯
Google AI Edge 的 Model Explorer 現在支援自訂編譯器中間表示，並提供 TOSA、VGF、PTE 等開源介面卡，面向端側機器學習。開發者可用分層圖視覺化、分屏檢視和逐節點 trace 疊加來發現匯出迴歸、驗證硬體委託，在本地定位到週期級的延遲瓶頸。
llama.cpp b11486 改進 Hexagon 後端 GELU 精度
llama.cpp 發布 b11486 建置，Hexagon 後端的 GELU 啟用函式精度得到改進（#30104）。該版本繼續為驍龍平台提供 Hexagon NPU、Adreno GPU 與 CPU 三類後端，覆蓋 Linux arm64、Android arm64 與 Windows arm64。
AI 設計的開源加速卡 openTPU 跑通十餘款模型
一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重，輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3，LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s；解碼受 DRAM 頻寬限制，實測跑到峰值的 82%-94%。