llama.cpp 建置 b11846 為 CUDA DP4A MMQ 加靜態斷言
llama.cpp 發布建置 b11846,最重要改動是在 ggm-cuda 後端為 DP4A MMQ 的 tile height 增加靜態斷言,強制其必須是 warp size 的整數倍。其餘為常規多平台建置產物更新,覆蓋 macOS Apple Silicon、Ubuntu 的 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO,以及 Windows、Android 與 openEuler 版本;
原標題:b11846
閱讀原文
| 評分 | 30 / 42(平均 36,門檻 60) |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp 發布 b11425:CUDA alloc_deps 檢查改為與 batch 無關
llama.cpp 發布 b11425 建置,主要變更是把 CUDA 後端的 alloc_deps 檢查改為與 batch 無關(PR #29986,修復 #29980)。該版本同時更新各平台預編譯產物,覆蓋 macOS Apple Silicon 與 Intel、iOS XCFramework、Android arm64,以及 Windows 和 Ubuntu 上的 CUDA 12、CUDA 13、Vulkan、ROCm 10.0、SYCL、OpenVINO 等後端。
llama.cpp b11760 修復 HIP/CUDA mmf 歸約中 tile 寬度不能被 64 整除的問題
llama.cpp 發布建置 b11760,首要變更是修復 HIP/CUDA 後端在 mmf 歸約中 tile 寬度不能被 64 整除時的計算錯誤(PR #30836)。
llama.cpp b11517 發布:CUDA 版把 src1 精度傳入主機端 MMQ 配置
llama.cpp 建置版本 b11517 發布,其中 CUDA 後端將 src1 精度顯式傳遞給主機端的 MMQ 配置輔助函式(PR #30168,作者來自 NVIDIA),屬於量化矩陣乘效能/正確性相關的底層調整。
llama.cpp 發布 b11390,修復 CUDA MMQ 記憶體錯誤
llama.cpp 發布建置版本 b11390,主要修復了 CUDA 後端在 n_expert 遠大於 n_ubatch 時的 MMQ 記憶體故障(#29941)。
llama.cpp b11538 修復 MSVC 下 CUDA 舍入問題
llama.cpp 發布 b11538 建置,修復 CUDA 後端的舍入問題,使 MSVC 下 CPU 與 GPU 的計算結果一致。本次發布包覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler,其中 CUDA 12/13 預編譯包分別對應 CUDA 12.8 與 13.4 庫,Linux 與 Windows x64 另有 ROCm 10.0、OpenVINO、SYCL、Vulkan 建置,Snapdragon 平台提供 CPU、Adr…