AISpot

搜尋

找到 7 筆

llama.cpp releasesAI 評分39

llama.cpp 新增 WebGPU 後端 ARANGE 運算元支援

llama.cpp 建置 b12066 在 WebGPU 後端加入 ARANGE 運算元支援(#31455),補齊該後端在張量生成類操作上的能力。同版本繼續提供 macOS、Linux、Windows、Android 等多平台預編譯包,涵蓋 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL 以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU 等加速路徑;

llama.cpp releasesAI 評分48

llama.cpp b11433 為 Hexagon NPU 加入池化運算元支援

llama.cpp 新建置 b11433 在高通 Hexagon NPU 後端加入 pool 運算元支援,包含 pool_1d 與 pool_2d。同一批提交重寫了 DMA 流水線、加入池化分塊(pool chunking)、移除並向量化全部標量路徑,並最佳化 HTP 池化邊界、簡化分塊求解器與清理冗餘檢查。

llama.cpp releasesAI 評分40

llama.cpp 的 Hexagon 後端新增 LIGHTNING_INDEXER 運算元支援

llama.cpp 為 Hexagon(高通 NPU)後端加入 LIGHTNING_INDEXER 運算元的初始支援:prefill 走流水線化的 HMX 路徑,decode 採用 q8_0 gather transpose 加雙塊計算。隨後的提交補齊 K 的 f32 與 q4_0 支援,移除 HMX q4_0 K 預處理中的標量 VTCM 讀取與向量溢位,並統一 kparams 對齊、支援維度摺疊。

llama.cpp releasesAI 評分45

llama.cpp 為 Hexagon NPU 增加 UPSCALE 運算元支援

llama.cpp 建置 b11982 在 Hexagon NPU 後端加入 UPSCALE 運算元,使驍龍平台上的影像放大可由 NPU 執行。相關 kernel 針對 nearest 2x、4x 與 bilinear 4x 做了最佳化,並支援非連續行與維度合併;同時改用 vgather 取代標量搬運,並把 kernel 選擇邏輯統一放到 host 端。新增的 permuted UPSCALE 測試覆蓋 qwen3-vl 影像轉文字場景。

llama.cpp releasesAI 評分38

llama.cpp 為 OpenCL 後端新增 topk_mask 運算元

llama.cpp 建置 b12052 在 OpenCL 後端加入 topk_mask 運算元支援(#31441)。同批發布各平台預編譯包:macOS/iOS(Apple Silicon、Intel)、Linux 與 Windows 的 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 版本,以及 Android arm64、Windows arm64 的 OpenCL Adreno 和驍龍 CPU、Adreno GPU、Hexagon…

llama.cpp releasesAI 評分48

llama.cpp 為 Hexagon NPU 新增 conv2d 支援

llama.cpp 建置 b11970 為高通 Hexagon NPU 後端加入 conv2d 與深度卷積(CONV_2D_DW)運算元支援,並更新 softmax 門控以啟用 mmproj 多模態投影。改動採用隱式 GEMM、雙緩衝 DMA 暫存與流水線重構,移除了標量和 HVX 分塊路徑,並在存入 f16 前對 HMX 結果縮放以避免溢位。