搜尋

找到 2 筆；也可以試試語意搜尋

llama.cpp releases10/8 13:29AI 評分43

llama.cpp 修復 CUDA argsort 的 CCCL 版本判斷錯誤，避免靜默效能回退

llama.cpp 修復了 CUDA 後端 argsort 的 CCCL 版本判斷錯誤：舊寫法分別比較主、次版本號，在 CCCL 4.x 上被判定為假，STRIDED_ITERATOR_AVAILABLE 不再定義，argsort 靜默退回 init_offsets 路徑，只損失效能且不報錯、不警告。補丁改用 CCCL 自帶的打包整數 CCCL_VERSION（3.4.3 記作 3004003），只需一次比較。

開源地端推論 llama.cpp CUDA CCCL 效能迴歸版本更新

閱讀原文

llama.cpp releases10/15 04:01AI 評分42

llama.cpp 回退 x86 上 FP16→FP32 的 F16C 最佳化，修復量化核心效能回退

llama.cpp 在 ggml-cpu 中撤銷 x86 上 FP16→FP32 的 F16C 內建轉換，恢復使用查詢表，只保留 FP32→FP16 走 F16C。此前 #30270 把兩種標量轉換都改為 F16C，但 Clang 20.1.8 會把該 intrinsic 編譯成 vpinsrw 合併進量化點積的活躍累加暫存器，導致迴圈序列化：估計每輪 19 週期對 4 週期，實測 Q8_0/Q4_0 的 MUL_MAT_ID 核心慢 45–65%。

地端推論開源 llama.cpp ggml F16C CPU 最佳化效能迴歸

閱讀原文