AISpot

搜尋

找到 1 筆;也可以試試 語意搜尋

llama.cpp releasesAI 評分58

b11902: sycl: add set_tensor_2d for faster tensor-split loading (#30358)

llama.cpp 的 SYCL 後端新增 set_tensor_2d:當目標行連續時,它把主機資料打包成最大 64 MiB 的塊上傳,避免逐行呼叫複製。在兩張 Arc Pro B70 上跑 gpt-oss-120b UD-Q4_K_XL,llama-perplexity 總耗時從 263–268 秒降到 114–115 秒。實現複用 pinned staging 槽位,讓 CPU 打包與裝置複製重疊,只在複用槽位時等待;