llama.cpp b12074 將 DeltaNet 卷積狀態索引改由主機填充
llama.cpp 發布 b12074 建置,DeltaNet 卷積視窗的回滾 slot 索引原本在裝置端用 arange 加 argsort 計算,現在改為由主機填充的迴圈記憶體 I32 輸入。該索引在每種圖形狀下都是常量,因此省去了裝置端計算,meta 後端也不再需要為 ARANGE 做映象 split,同時修復了 sm tensor。
原標題:b12074
閱讀原文
| 評分 | 40 / 46(平均 43,門檻 60) |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp b11497:SYCL 後端融合 delta-net alpha gate
llama.cpp 發布 b11497,SYCL 後端把 delta-net 的 alpha gate 中 add、unary、mul 三步融合成一條鏈,並新增測試覆蓋該融合鏈路,同時為融合運算元提供 flat path 並固定 node skip。
llama.cpp CUDA 批次張量讀取改用對映主機記憶體
llama.cpp 合入 PR #31391,CUDA 後端將批次張量讀取改為聚集(gather)到對映主機記憶體:小讀取使用 8 位元組複製,大讀取改用 pinned DMA,descriptor 的 pinned 緩衝區擴大到 128k。實現上增加條件派發、把主機記憶體註冊改為 RAII,並調整張量測試以控制 CI 耗時。該 PR 由 Codex 輔助完成。
llama.cpp 更新:Hexagon 後端支援通用維度摺疊與重塑
llama.cpp 發布 b11875 建置,Hexagon 後端把通用的維度摺疊與重塑(collapse/reshape)擴充套件到 unary、binary 與 matmul 運算元(#31071)。hex-unary 的摺疊邏輯在 nrows 較小時也會進行拆分,摺疊統一改由 host 處理並通用化,同時移除了遺留的 unary helper。hex-tools 的 profile.py 新增 --compare 選項。
llama.cpp 最佳化 GDN 卷積狀態寫入,每 token 裝置複製減半
llama.cpp 合併補丁 b12086:build_conv_state_at 改為直接寫入卷積輸入尾部,不再先做連續複製,使每個 GDN 層每生成一個 token 的裝置複製從兩次降為一次。在含 36 個 GDN 層的 Qwen3.8-Flash-Next 上,每 token 複製數由 72 次降至 36 次;投機解碼回滾時也會少一次複製。
llama.cpp b11757 發布,重新整理舊記憶體池後清理 CUDA 圖
llama.cpp 發布 b11757 建置,主要改動是在重新整理傳統記憶體池(legacy memory pool flush)後清理 CUDA graphs,對應提交 #26771,提交資訊標註由 Claude 5.5 輔助。