AISpot

llama.cpp b12074 將 DeltaNet 卷積狀態索引改由主機填充

llama.cpp releases版本更新地端推論開源

llama.cpp 發布 b12074 建置,DeltaNet 卷積視窗的回滾 slot 索引原本在裝置端用 arange 加 argsort 計算,現在改為由主機填充的迴圈記憶體 I32 輸入。該索引在每種圖形狀下都是常量,因此省去了裝置端計算,meta 後端也不再需要為 ARANGE 做映象 split,同時修復了 sm tensor。

原標題:b12074
閱讀原文

評分40 / 46(平均 43,門檻 60)
狀態未入選

原文

delta_net_base: refactor conv state ( #30878 ) delta_net: access conv state via views fix sm tensor delta_net: fill the conv slot index on the host The rollback slot index of the conv windows is a constant per graph shape. It is now an I32 input of the recurrent memory filled on the host, instead of an arange and an argsort computed on the device, and the meta backend no longer needs a mirrored split for ARANGE. Co-authored-by: Pascal [email protected] Website: https://llama.app Attestations: https://github.com/ggml-org/llama.cpp/attestations/63175689 macOS/iOS: macOS Apple Silicon (arm64) macOS Apple Silicon (arm64, KleidiAI enabled) DISABLED macOS Intel (x64) iOS XCFramework Linux: Ubuntu x64 (CPU) Ubuntu arm64 (CPU) Ubuntu s390x (CPU) Ubuntu 26.04 s390x (CPU) Ubuntu 26.04 s390x (zDNN) Ubuntu x64 (Vulkan) Ubuntu arm64 (Vulkan) Ubuntu x64 (CUDA 12) - CUDA 12.8 libraries Ubuntu x64 (CUDA 13) - CUDA 13.4 libraries Ubuntu arm64 (CUDA 13) - CUDA 13.4 libraries Ubuntu x64 (ROCm 10.0) Ubuntu x64 (OpenVINO) Ubuntu x64 (SYCL FP32) Ubuntu x64 (SYCL FP16) Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide Android: Android arm64 (CPU) Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide Windows: Windows x64 (CPU) Windows arm64 (CPU) Windows arm64 (OpenCL Adreno) Windows x64 (CUDA 12) - CUDA 12.4 DLLs Windows x64 (CUDA 13) - CUDA 13.4 DLLs Windows arm64 (CUDA 13) - CUDA 13.4 DLLs Windows x64 (Vulkan) Windows arm64 (Vulkan) Windows x64 (OpenVINO) Windows x64 (SYCL) Windows x64 (ROCm 10.0) openEuler: DISABLED openEuler x86 (310p) openEuler x86 (910b, ACL Graph) openEuler aarch64 (310p) openEuler aarch64 (910b, ACL Graph) UI: UI

相關報導

llama.cpp releasesAI 評分43

llama.cpp CUDA 批次張量讀取改用對映主機記憶體

llama.cpp 合入 PR #31391,CUDA 後端將批次張量讀取改為聚集(gather)到對映主機記憶體:小讀取使用 8 位元組複製,大讀取改用 pinned DMA,descriptor 的 pinned 緩衝區擴大到 128k。實現上增加條件派發、把主機記憶體註冊改為 RAII,並調整張量測試以控制 CI 耗時。該 PR 由 Codex 輔助完成。

llama.cpp releasesAI 評分42

llama.cpp 更新:Hexagon 後端支援通用維度摺疊與重塑

llama.cpp 發布 b11875 建置,Hexagon 後端把通用的維度摺疊與重塑(collapse/reshape)擴充套件到 unary、binary 與 matmul 運算元(#31071)。hex-unary 的摺疊邏輯在 nrows 較小時也會進行拆分,摺疊統一改由 host 處理並通用化,同時移除了遺留的 unary helper。hex-tools 的 profile.py 新增 --compare 選項。

llama.cpp releasesAI 評分45

llama.cpp 最佳化 GDN 卷積狀態寫入,每 token 裝置複製減半

llama.cpp 合併補丁 b12086:build_conv_state_at 改為直接寫入卷積輸入尾部,不再先做連續複製,使每個 GDN 層每生成一個 token 的裝置複製從兩次降為一次。在含 36 個 GDN 層的 Qwen3.8-Flash-Next 上,每 token 複製數由 72 次降至 36 次;投機解碼回滾時也會少一次複製。