搜尋

找到 4 筆；也可以試試語意搜尋

llama.cpp releases10/16 10:06AI 評分43

llama.cpp b11688 合併 AVX2 分塊累加器並更新全平台建置

llama.cpp 合併 PR #30296，把 CPU 上的 AVX2 分塊累加器（tiled accumulators）歸併處理，用於最佳化 x86 CPU 推理，改動由 Codex 協助完成。同版本 b11688 放出多平台預編譯建置，覆蓋 macOS Apple Silicon 與 Intel、iOS、Linux、Windows、Android、openEuler，含 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等後端。

地端推論開源 llama.cpp AVX2 CPU 推理最佳化預編譯建置 b11688

閱讀原文

llama.cpp releases10/15 15:44AI 評分40

llama.cpp 發布 b11662 建置，含 ROCm 10.0 與 CUDA 13 版本

llama.cpp 發布 b11662 版本（同步 ggml），預編譯建置提供 ROCm 10.0、CUDA 13（13.4 庫）以及驍龍平台的 CPU、Adreno GPU 與 Hexagon NPU 版本。

地端推論開源 llama.cpp GGML 本地推理跨平台版本發布

閱讀原文

llama.cpp releases10/3 21:09AI 評分27

llama.cpp 發布新版本，將 cpp-httplib 升級至 0.59.0

llama.cpp 發布更新，將依賴庫 cpp-httplib 升級到 0.59.0，對應 PR #29886。該版本繼續提供覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的預編譯建置，包括 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 以及 Snapdragon 的 CPU、Adreno GPU 和 Hexagon NPU 等後端。

地端推論開源 llama.cpp cpp-httplib 版本更新本地推理跨平台建置

閱讀原文

llama.cpp releases10/14 00:55AI 評分42

llama.cpp b11609 修復 WebGPU 重複專家 ID 的 mul_mat_id

llama.cpp 發布 b11609，修復 WebGPU 後端在 expert id 重複時 mul_mat_id 的計算錯誤，屬 CI 修復。該問題涉及 MoE 模型的專家路由，同版本照常給出各平台預編譯建置，覆蓋 macOS Apple Silicon（arm64）、Linux 的 CUDA 12/13 與 ROCm 10.0、Windows x64 CUDA/Vulkan、Android arm64，以及 Snapdragon 的 CPU、Adreno GPU 與 H…

地端推論開源 llama.cpp WebGPU mul_mat_id 版本更新

閱讀原文