LiteRT 發布 Tensor API，可用 C++ 手寫端側模型圖
LiteRT 發布 Tensor API，這是一個輕量 C++ 編寫層，開發者可以逐個運算元手工建置計算圖；同一份程式碼經 LiteRT 能跑在 CPU、GPU 與 NPU 上，不必為新硬體重寫。官方用 SAM 2 演示：模型全部用 C++ 編寫，在瀏覽器 WebGPU 上配合 Gemma 4 E2B 做即時多目標分割；coding agent 把它在 512×512 下的幀率從不足 10 提升到 30 以上。
官方給出可復現的實測結果：同一份 C++ 程式碼跨 Metal 與 OpenCL 執行，SAM 2 比 MLX 快約 1.5 倍，coding agent 還把瀏覽器端幀率從 10 推到 30 以上。這對需要手寫端側推理、關注 MLX 與 llama.cpp 路線的開發者最有用。
原標題：Native Model Authoring for Edge with LiteRT Tensor API
閱讀原文
| 評分 | 78 / 78（平均 78，門檻 65） |
|---|---|
| 狀態 | 精選 |
相關報導
llama.cpp 發布 b11450：RPC 新增 -sm tensor 選項
llama.cpp 發布 b11450，RPC 後端新增 -sm tensor 選項（#26610），支援在 RPC 場景下按 tensor 拆分模型。該版本還修復 Apple RDMA 的 flush 問題，把 graph_uids 移入 rpc_dispatcher，停止 dispatcher 執行緒空轉，並提升 RPC 主版本號。
176B MoE 模型在 16GB 視訊記憶體筆記本上跑通
開發者用自研開源推理引擎 TensorSharp，在 RTX 3080 Laptop（16GB 視訊記憶體）+32GB 記憶體+SSD 的普通筆記本上執行 Qwen3.8 Flash Next 176B。做法是量化加 MoE 感知的統一排程，把快取、視訊記憶體、記憶體和 SSD 按專家啟用情況分層協調。對比 Strata：解碼 11.09 對 10.24 tok/s，但整程耗時 16.54 秒對 62.15 秒。
AI 設計的開源加速卡 openTPU 跑通十餘款模型
一個由 AI 設計的開源 AI 加速器 openTPU 已在真實 PCIe 卡上跑通十餘款模型的真實權重，輸出與 bit-exact 模擬器逐位一致。硬體是 Xilinx Kintex-7 xc7k480t 加兩路 DDR3，LFM2.5-230M int8 解碼 59.0 tok/s、4-bit 達 85.8 tok/s；解碼受 DRAM 頻寬限制，實測跑到峰值的 82%-94%。
VAST 開源即時世界模型 EdenLive，單張 5090 跑 720P 超 24FPS
VAST 正式開源即時世界模型 EdenLive，同步開放模型權重、推理程式碼、技術報告與端到端 Demo。它把世界狀態交給上游互動系統維護，自身只做即時渲染：單張消費級 RTX 5090、720P 下，5B 模型生成速度超 24FPS，端到端延遲百毫秒級，可連續生成分鐘級畫面。模型接收參考畫面、目標首幀與提示詞三類輸入，支援寫實、二次元等畫風，可用於遊戲原型預覽、影片重渲染與具身資料增強；
llama.cpp 發布 b11402，CUDA 後端改用整塊 FlashAttention 排程
llama.cpp 發布 b11402 版本，CUDA 後端改為優先採用整塊（whole-tile）FlashAttention 排程，以提升兩階段核心效率。