llama.cpp releasesAI 評分45
llama.cpp 最佳化 GDN 卷積狀態寫入，每 token 裝置複製減半
llama.cpp 合併補丁 b12086：build_conv_state_at 改為直接寫入卷積輸入尾部，不再先做連續複製，使每個 GDN 層每生成一個 token 的裝置複製從兩次降為一次。在含 36 個 GDN 層的 Qwen3.8-Flash-Next 上，每 token 複製數由 72 次降至 36 次；投機解碼回滾時也會少一次複製。
搜尋
找到 2 筆；也可以試試 語意搜尋
llama.cpp releasesAI 評分43
llama.cpp b12074 將 DeltaNet 卷積狀態索引改由主機填充
llama.cpp 發布 b12074 建置，DeltaNet 卷積視窗的回滾 slot 索引原本在裝置端用 arange 加 argsort 計算，現在改為由主機填充的迴圈記憶體 I32 輸入。該索引在每種圖形狀下都是常量，因此省去了裝置端計算，meta 後端也不再需要為 ARANGE 做映象 split，同時修復了 sm tensor。