llama.cpp releasesAI 評分43
llama.cpp CUDA 批次張量讀取改用對映主機記憶體
llama.cpp 合入 PR #31391，CUDA 後端將批次張量讀取改為聚集（gather）到對映主機記憶體：小讀取使用 8 位元組複製，大讀取改用 pinned DMA，descriptor 的 pinned 緩衝區擴大到 128k。實現上增加條件派發、把主機記憶體註冊改為 RAII，並調整張量測試以控制 CI 耗時。該 PR 由 Codex 輔助完成。
找到 1 筆；也可以試試 語意搜尋
llama.cpp 合入 PR #31391，CUDA 後端將批次張量讀取改為聚集（gather）到對映主機記憶體：小讀取使用 8 位元組複製，大讀取改用 pinned DMA，descriptor 的 pinned 緩衝區擴大到 128k。實現上增加條件派發、把主機記憶體註冊改為 RAII，並調整張量測試以控制 CI 耗時。該 PR 由 Codex 輔助完成。