AISpot

搜尋

找到 8 筆

llama.cpp releasesAI 評分40

llama.cpp b11592:CUDA 圖除錯日誌改由 GGML_CUDA_GRAPH_DEBUG 控制

llama.cpp 發布每日建置 b11592,ggml-cuda 的 CUDA graph 除錯日誌改為只在設定 GGML_CUDA_GRAPH_DEBUG 後才輸出,並移除了這部分日誌的 NDEBUG 編譯開關。同一批提交把 CUDA 環境變數的讀取改成靜態常量快取,程序內只查詢一次,不再每次呼叫重複讀取。

llama.cpp releasesAI 評分45

llama.cpp 建置 b11448:ggml-cuda 分塊處理大塊 BF16/FP16 轉 F32

llama.cpp 發布建置 b11448,ggml-cuda 後端把大塊 BF16/FP16 到 F32 的轉換改為分塊執行(#29442),並修正分塊 cuBLAS 矩陣乘法未遵循目標 stride 的問題,提交由 Johannes Gäßler 參與。改動僅涉及 CUDA 後端,影響用 NVIDIA GPU 做本地推理的場景;該建置同時覆蓋 macOS Apple Silicon 與 Linux、Windows 的 CUDA 12/13 等平台。

llama.cpp releasesAI 評分41

llama.cpp b11456:CUDA 緩衝區初始化改用每執行緒流

llama.cpp 發布建置 b11456,其中 ggml-cuda 在緩衝區初始化的 padding memset 中改用每執行緒 stream(#28782),CI 也重新為 ROCm 啟用 test-backend-ops 的 -j 並行測試。該建置覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler,含 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等後端;

llama.cpp releasesAI 評分38

llama.cpp 新建置支援 CUDA 下 7 尺寸 SSM 卷積核

llama.cpp 發布 b11770 建置,CUDA 後端新增對 ssm_conv 卷積核尺寸 7 的支援(#30873),補齊狀態空間模型在 GPU 上的運算元覆蓋。該版本同時提供 macOS、iOS、Linux、Android、Windows 與 openEuler 的預編譯包,覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。