搜尋

找到 2 筆；也可以試試語意搜尋

llama.cpp releases11/3 10:04AI 評分39

llama.cpp 新增 WebGPU 後端 ARANGE 運算元支援

llama.cpp 建置 b12066 在 WebGPU 後端加入 ARANGE 運算元支援（#31455），補齊該後端在張量生成類操作上的能力。同版本繼續提供 macOS、Linux、Windows、Android 等多平台預編譯包，涵蓋 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL 以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU 等加速路徑；

地端推論開源 llama.cpp WebGPU ARANGE 本地推理版本發布

閱讀原文

llama.cpp releases11/3 15:43AI 評分43

llama.cpp b12074 將 DeltaNet 卷積狀態索引改由主機填充

llama.cpp 發布 b12074 建置，DeltaNet 卷積視窗的回滾 slot 索引原本在裝置端用 arange 加 argsort 計算，現在改為由主機填充的迴圈記憶體 I32 輸入。該索引在每種圖形狀下都是常量，因此省去了裝置端計算，meta 後端也不再需要為 ARANGE 做映象 split，同時修復了 sm tensor。

地端推論開源 llama.cpp DeltaNet 版本更新 conv state 跨平台建置

閱讀原文