搜尋
找到 3 筆；也可以試試 語意搜尋
Google Developers blog● 精選AI 評分78
LiteRT 發布 Tensor API，這是一個輕量 C++ 編寫層，開發者可以逐個運算元手工建置計算圖；同一份程式碼經 LiteRT 能跑在 CPU、GPU 與 NPU 上，不必為新硬體重寫。官方用 SAM 2 演示：模型全部用 C++ 編寫，在瀏覽器 WebGPU 上配合 Gemma 4 E2B 做即時多目標分割；coding agent 把它在 512×512 下的幀率從不足 10 提升到 30 以上。
llama.cpp releasesAI 評分45
llama.cpp 最新建置 b11645 為 Metal 後端的張量 API flash attention 核心加入了 BF16 變體，主要面向 Apple Silicon 上的 macOS 與 iOS。同一提交還把張量 FA 核心遷移到 kernels/fa_tensor.metal。
llama.cpp releases● 精選AI 評分60
llama.cpp 合併 PR #29869，為 Metal 後端新增支援 2 到 16 行 src1 的 mat-mul 核心，用於加速投機解碼中的少行矩陣乘。此前 Metal 在無 tensor API 時用 mat-vec 核心處理這些運算，耗時隨 src1 行數增長，導致 M3 Ultra 上 DFlash2 解碼慢於序列解碼。