Google Play 服務版 LiteRT 新增 GPU 推理,快約 1.4 倍
Google Play 服務中的 LiteRT 現在提供由 ML Drift 驅動的 GPU 推理,效能約提升 1.4 倍,並配套新的 CompiledModel API。開發者如果不再把 LiteRT 二進位制打包進應用,改為使用 Play 服務提供的版本,應用體積可減少約 8MB,同時執行時能在數十億臺裝置上自動更新。更新依賴即可採用,也可藉助新的 Android Studio LiteRT skill 自動遷移。
官方給出了 1.4 倍 GPU 推理加速和約 8MB 體積縮減的具體數字,並確認執行時隨 Play 服務自動更新,對在 Android 端部署端側模型的開發者最有用。
原標題:Smaller apps and faster GPU inference with LiteRT in Google Play services
閱讀原文
| 評分 | 58 / 65(平均 61,門檻 65) |
|---|---|
| 狀態 | 未入選 |
相關報導
Google 發布 ML Drift:端側通用 GPU 推理框架
Google AI Edge 推出 ML Drift,一個面向端側 AI 與機器學習推理的高效能通用 GPU 計算框架。它把 OpenGL ES、OpenCL、Metal、WebGPU 等底層硬體與圖形計算 API 抽象掉,讓開發者無需直接處理這些介面,就能在移動端與桌面端建置即時互動式 ML 體驗,覆蓋從複雜影片特效到生成式 AI 的場景。
LiteRT 發布 Tensor API,可用 C++ 手寫端側模型圖
LiteRT 發布 Tensor API,這是一個輕量 C++ 編寫層,開發者可以逐個運算元手工建置計算圖;同一份程式碼經 LiteRT 能跑在 CPU、GPU 與 NPU 上,不必為新硬體重寫。官方用 SAM 2 演示:模型全部用 C++ 編寫,在瀏覽器 WebGPU 上配合 Gemma 4 E2B 做即時多目標分割;coding agent 把它在 512×512 下的幀率從不足 10 提升到 30 以上。
三星電視被曝用 TFLite 模型每幾秒截圖識別所玩遊戲
開發者逆向發現,三星 Tizen 電視每隔幾秒擷取 960×540 畫面,用 INT8 量化的 TensorFlow Lite 模型 alex.tflite(即 AlexNet)推斷使用者正在玩哪款遊戲。模型輸出會與資料庫做最近鄰特徵比對,但結果在授權確認彈窗出現之前就已寫出,等於直接丟棄。據測試該識別約 99% 的情況並不準確,卻持續佔用 CPU。
Google 10 月 9 日起將 Gemini 免費使用者限制為 Flash Lite
從 10 月 9 日起,Google Gemini 免費方案使用者只能使用 Flash Lite 模型,此前免費使用者可在 Flash Lite、Flash 和 Pro 之間選擇。標準 Flash 模型改為需要每月 4.99 美元的 Google AI Plus 訂閱,而該訂閱也將不再包含 Gemini Pro,Google 表示會發郵件通知 AI Plus 使用者何時失去存取權限。
Google 開源 TorchTPU,PyTorch 應用改配置即可跑在 TPU 上
Google 宣布開源 TorchTPU,PyTorch 應用只需改配置、無需重寫程式碼,就能執行在 Google 的 TPU 與 Google Cloud 上。據稱 85% 的 AI 應用基於 PyTorch,而它的許多特性原本專為 Nvidia GPU 設計。前一天 Amazon 也發布 TorchNeuron 支援自家 Trainium,並向 PyTorch 主專案提交程式碼,把各項特性與 Nvidia 晶片解耦。