llama.cpp releasesAI 評分45
llama.cpp b11534:CUDA 後端移除 SSM_SCAN 後的冗餘複製
llama.cpp 發布 b11534 建置,CUDA 後端做了多項複製最佳化:SSM_SCAN 之後不再重複複製,更新後的狀態快照複製被融合進 recurrent cache 的 ssm_scan,K==1(非投機解碼)場景的冗餘 CUDA 複製也一併移除。
找到 1 筆;也可以試試 語意搜尋
llama.cpp 發布 b11534 建置,CUDA 後端做了多項複製最佳化:SSM_SCAN 之後不再重複複製,更新後的狀態快照複製被融合進 recurrent cache 的 ssm_scan,K==1(非投機解碼)場景的冗餘 CUDA 複製也一併移除。