搜尋

找到 50 筆

llama.cpp releases● 精選10/29 08:12AI 評分63

llama.cpp 的 OpenCL 後端新增 IQ2 系列量化，並針對 Adreno GPU 最佳化

llama.cpp 的 OpenCL 後端首次加入對 IQ2 系列 2-bit 量化（iq2_s、iq2_xs、iq2_xxs）的支援，並針對高通 Adreno GPU 做了專項最佳化。提交為每種量化型別補上了 AOS/SOA 矩陣向量乘、tiled matmul、noshuffle 的 GEMM/GEMV 與 dp4a 路徑，並最佳化了 Adreno 上的 decode 與窄批次場景。

地端推論開源 llama.cpp OpenCL IQ2 量化 Adreno GPU

llama.cpp releases10/22 19:41AI 評分41

llama.cpp 為 OpenCL 後端加入 Adreno 深度卷積

llama.cpp 建置 b11827 在 OpenCL 後端新增 depthwise conv2d（深度卷積）支援，並針對 Adreno GPU 做了適配，可讓部分卷積類模型在驍龍 Adreno GPU 上以 OpenCL 加速執行。該改動還提到改用本地 program、引數改用有符號型別，貢獻者來自高通。

地端推論開源 llama.cpp OpenCL depthwise conv2d Adreno 版本更新

llama.cpp releases10/14 18:47AI 評分45

llama.cpp 修復 Adreno OpenCL 的 q8_0 dp4a MoE 計算錯誤

llama.cpp 建置 b11620 修復了 OpenCL 後端 q8_0 dp4a 路徑下 MoE 矩陣乘法（MUL_MAT_ID）與 GEMM 的最小值處理錯誤，避免量化 MoE 模型在 GPU 上算出錯誤結果。同一批改動還讓 Adreno GPU 直接拒絕 PREC_F32 的 MUL_MAT_ID，不再走不支援的精度路徑。

地端推論開源 llama.cpp OpenCL Adreno q8_0 MoE

1 個來源 · 2 則報導閱讀原文

llama.cpp releases10/9 17:45AI 評分43

llama.cpp 修復 Adreno A6x 的 OpenCL 核心編譯崩潰並支援 623

llama.cpp 建置 b11533 修復了 Adreno A6x GPU 上的 OpenCL 核心編譯崩潰，並把 Adreno 623 加入 A6X 檢測列表。具體做法是在 A6X 上跳過 kernel_cpy_f32_f32_pack——A623 的編譯器後端（E031.50.31.01）無法處理引數過多的核心；GEMV 核心裡的 get_local_size 也加了常量摺疊變通方案。

地端推論開源 OpenCL Adreno GPU 推理 llama.cpp 版本建置

llama.cpp releases10/14 19:17AI 評分39

llama.cpp b11621：Adreno 上 MoE expert sort 改用 buf+offset

llama.cpp 發布 b11621 建置，OpenCL 後端把 Adreno GPU 上的 MoE expert sort 從 subbuffer 改為 buf+offset（#30418），涉及驍龍 Adreno 跑 MoE 模型的推理路徑。

地端推論開源 llama.cpp OpenCL Adreno MoE 本地推理

llama.cpp releases10/6 19:32AI 評分43

llama.cpp 發布 b11451，修復 Adreno xmem GEMM 越界讀取

llama.cpp 發布 b11451 建置，主要變更是修復 OpenCL 後端在 Adreno GPU 上 xmem GEMM 的越界讀取（OOB read）問題，對應 PR #30041。

地端推論開源 llama.cpp OpenCL Adreno GEMM 越界讀取

llama.cpp releases10/17 00:25AI 評分45

llama.cpp 為 Adreno X1 新增 MxFP4 MoE 核心

llama.cpp 建置 b11702 為高通 Adreno X1 系列 GPU 新增 MxFP4 MoE 的 OpenCL bin kernel（gemm_moe_mxfp4_q8_1_dp4a_ila_ldck），並在 X1E 上啟用 dp4a clc，用於加速驍龍裝置上的 MoE 模型推理。

地端推論開源 OpenCL Adreno X1 MxFP4 MoE 本地推理

llama.cpp releases10/28 22:28AI 評分45

llama.cpp OpenCL 新增 Adreno q4_K 分塊 GEMM

llama.cpp 在 b11971 建置中為 OpenCL 後端新增面向 Adreno GPU 的分塊 q4_K GEMM，並讓 batch 大於 1 時的分塊 q4_K lm_head 通過分塊 GEMM 執行。改動還把分塊 dp4a q4_K GEMM 拆到獨立檔案，並補充 dp4a 測試；提交由 Qualcomm 工程師共同署名，標註 Codex 輔助。

地端推論開源 llama.cpp OpenCL Adreno q4_K GEMM

llama.cpp releases10/25 12:27AI 評分56

llama.cpp 為 OpenCL 後端加入 Q2_K 量化支援

llama.cpp 建置 b11873 為 OpenCL 後端加入了 Q2_K 量化的初步支援，重點面向驍龍 Adreno GPU。新增 mul_mv_q2_k_f32、q2_k 的 SOA mv 與 tiled mm kernel，並針對 Adreno 補充 noshuffle gemm/gemv 與 dp4a gemm 後完成調優，高通工程師參與共同提交。

開發工具地端推論 llama.cpp OpenCL q2_k 量化 Adreno

llama.cpp releases10/8 04:38AI 評分45

llama.cpp b11489 加速 Hexagon NPU 的 Q6_K 權重反量化

llama.cpp 發布 b11489，為 Hexagon NPU 的 Q6_K 權重反量化帶來加速，做法是再增加 2 倍迴圈展開，改動由 OpenCode 協助完成。該版本繼續提供 macOS/iOS、Linux、Android、Windows 多平台預編譯包，Snapdragon 版本可分別使用 CPU、Adreno GPU 與 Hexagon NPU，Windows arm64 另有 OpenCL Adreno 建置；

地端推論開源 llama.cpp Hexagon NPU Q6_K 效能最佳化版本發布

llama.cpp releases10/15 15:44AI 評分40

llama.cpp 發布 b11662 建置，含 ROCm 10.0 與 CUDA 13 版本

llama.cpp 發布 b11662 版本（同步 ggml），預編譯建置提供 ROCm 10.0、CUDA 13（13.4 庫）以及驍龍平台的 CPU、Adreno GPU 與 Hexagon NPU 版本。

地端推論開源 llama.cpp GGML 本地推理跨平台版本發布

llama.cpp releases10/21 01:30AI 評分38

llama.cpp 新建置支援 CUDA 下 7 尺寸 SSM 卷積核

llama.cpp 發布 b11770 建置，CUDA 後端新增對 ssm_conv 卷積核尺寸 7 的支援（#30873），補齊狀態空間模型在 GPU 上的運算元覆蓋。該版本同時提供 macOS、iOS、Linux、Android、Windows 與 openEuler 的預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。

地端推論開源 llama.cpp ggml-cuda CUDA 本地推理版本發布

llama.cpp releases10/8 03:40AI 評分41

llama.cpp b11486 改進 Hexagon 後端 GELU 精度

llama.cpp 發布 b11486 建置，Hexagon 後端的 GELU 啟用函式精度得到改進（#30104）。該版本繼續為驍龍平台提供 Hexagon NPU、Adreno GPU 與 CPU 三類後端，覆蓋 Linux arm64、Android arm64 與 Windows arm64。

地端推論開源 llama.cpp GELU Hexagon NPU OpenCode 本地推理

llama.cpp releases10/21 17:55AI 評分41

llama.cpp b11799 為 SYCL 後端加入 q8 快速反量化

llama.cpp 發布 b11799 建置，新增 SYCL 後端的 q8 快速反量化（#30775），可提升 Intel GPU 上量化模型的推理效率。該版本同時提供 macOS、Linux、Windows、Android 的多平台預編譯包，涵蓋 CUDA 12、CUDA 13、ROCm 10.0、Vulkan、OpenVINO 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 版本；SYCL 建置則分為 FP32 與 FP16 兩版。

地端推論開源 llama.cpp SYCL q8 量化反量化版本更新

llama.cpp releases10/8 17:27AI 評分38

llama.cpp b11511 修復 CUDA MMQ 越界讀取

llama.cpp 發布建置 b11511，主要修復 CUDA 後端 MMQ 的越界讀取問題（#29953）。該版本照常提供 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端建置，覆蓋 Linux、Windows、Android 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU。

地端推論開源 llama.cpp CUDA MMQ 本地推理

llama.cpp releases10/9 09:57AI 評分42

llama.cpp b11521 服務端預設埠改為 9931

llama.cpp 新版本 b11521 把內建 server 的預設埠改為 9931，依賴預設埠的啟動指令碼與容器埠對映需相應調整。該版本同時放出各平台預編譯包，覆蓋 macOS Apple Silicon、iOS XCFramework、Ubuntu（CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL）、Windows x64/arm64、Android，以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon…

地端推論開源 llama.cpp 版本發布本地推理 GPU 加速跨平台

llama.cpp releases10/3 01:06AI 評分40

llama.cpp 新增 nimble 決策模型支援

llama.cpp 發布 b11364 版本，新增對 nimble 決策模型的支援（PR #29844）。該版本覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 平台，提供 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL、Snapdragon 的 Adreno GPU 與 Hexagon NPU 等後端建置；

地端推論開源 llama.cpp 推理引擎跨平台建置本地推理

llama.cpp releases10/2 13:52AI 評分17

llama.cpp 發布 b11346 版本，修復 qwen4exp 測試

llama.cpp 發布 b11346 版本，主要變更是修復 qwen4exp 的測試（#29819）。該版本為 macOS、iOS、Linux、Android、Windows 和 openEuler 提供預編譯包，覆蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端；

地端推論開源 llama.cpp 版本更新本地推理 Qwen 多平台建置

llama.cpp releases10/4 08:06AI 評分20

llama.cpp 發布 b11384 版本，覆蓋多平台預編譯包

llama.cpp 發布 b11384 版本，官網為 llama.app，並附 GitHub 建置證明。該版本提供 macOS、iOS、Linux、Android、Windows 及 openEuler 的預編譯包，涵蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。

地端推論開源 llama.cpp 版本發布跨平台建置 CUDA Vulkan

llama.cpp releases10/16 23:24AI 評分45

llama.cpp b11701 新增 Beam (Reflection) 模型支援

llama.cpp 建置 b11701 加入 Beam (Reflection) 模型支援（PR #30670），官方站點為 llama.app。該版本同步釋出 macOS（Apple Silicon/Intel）、iOS、Linux、Windows、Android 與 openEuler 的預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 以及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU…

模型地端推論 llama.cpp Beam (Reflection)本地推理跨平台建置 b11701

5 個來源 · 8 則報導閱讀原文

llama.cpp releases10/9 16:41AI 評分32

llama.cpp b11531 重構 chat API，同步更新多平台建置

llama.cpp 發布 b11531，主要變更是重構 chat API（#30210）。同步重新整理的預編譯產物覆蓋 macOS Apple Silicon、Ubuntu、Windows、Android 與 openEuler，包含 CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO，以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU 版本。

地端推論開源 llama.cpp 版本發布本地推理 API 重構 b11531

llama.cpp releases10/8 13:00AI 評分37

llama.cpp b11501：SYCL 後端 FWHT 最佳化，macOS KleidiAI 建置停用

llama.cpp 發布 b11501 建置，主要變更是 SYCL 後端的 FWHT 最佳化（PR #29605）。該版本繼續提供 macOS/iOS、Linux、Windows、Android 與 openEuler 的預編譯包，覆蓋 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL FP32/FP16，以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU。

地端推論開源 llama.cpp SYCL FWHT 版本更新本地推理

llama.cpp releases10/26 10:20AI 評分25

llama.cpp b11896 修復 WebGPU memset 競態

llama.cpp 發布 b11896 建置，核心改動是修復 WebGPU memset 中的競態問題（#31162）。同批預編譯產物仍覆蓋 macOS/iOS（含 Apple Silicon 與 Intel）、Linux（Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL）、Android 與 Windows（含 Snapdragon 的 Adreno GPU 與 Hexagon NPU 路徑），CUDA 12 使用 12.8、CUDA 13…

地端推論開源 llama.cpp WebGPU CI 版本發布

llama.cpp releases10/16 05:50AI 評分39

llama.cpp 為 MELLUM 架構加入精度處理支援

llama.cpp 發布新建置 b11681，為 MELLUM 架構加入精度處理（PR #30584）。該版本提供 macOS/iOS、Linux、Android、Windows 與 openEuler 的預編譯包，涵蓋 CPU、Vulkan、CUDA 12/13、ROCm 10.0、SYCL、OpenVINO 以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU 後端。

地端推論開源 llama.cpp MELLUM 精度處理本地推理建置版本

llama.cpp releases10/17 02:33AI 評分42

llama.cpp b11706 修復 SYCL prompt 處理迴歸

llama.cpp 發布 b11706，修復 SYCL 後端在 Q4_0/Q8_0 權重重排後出現的 prompt 處理迴歸（#30374）。該版本同時更新各平台預編譯包，覆蓋 macOS、Linux、Windows、Android，含 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO 與驍龍 CPU/Adreno GPU/Hexagon NPU 等後端。

地端推論開源 llama.cpp SYCL Q4_0 Q8_0 版本更新

llama.cpp releases10/9 13:57AI 評分41

llama.cpp b11526 修復 Vulkan rms_norm 溢位問題

llama.cpp 發布建置 b11526，主要修復 Vulkan 後端 rms_norm 工作組數量溢位（#30145）。該版本繼續為 macOS/iOS、Linux、Windows、Android 與 openEuler 提供多後端建置，覆蓋 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 以及驍龍平台的 Adreno GPU 與 Hexagon NPU；

地端推論開源 llama.cpp Vulkan RMS Norm 版本更新本地推理

llama.cpp releases10/7 10:13AI 評分35

llama.cpp 發布 b11462，含 SYCL fattn 緩衝區清理

llama.cpp 發布 b11462 建置，本次合併的主要改動是 SYCL 後端的 fattn_kv_buffers 清理（#27689）。該版本繼續提供 macOS/iOS、Linux、Android、Windows、openEuler 的預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL，以及驍龍平台的 CPU、Adreno GPU 與 Hexagon NPU。

地端推論開源 llama.cpp SYCL 本地推理開源版本發布

llama.cpp releases10/25 13:33AI 評分42

llama.cpp 的 OpenCL 後端新增 topk 與 lightning indexer

llama.cpp 的 OpenCL 後端新增 topk 與 lightning indexer 支援，並對兩者做了最佳化，還重構了 tiled topk kernel。這批改動隨建置 b11874 發布，覆蓋 macOS、iOS、Linux、Android、Windows 的預編譯包，含 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 與 Snapdragon 的 Adreno GPU、Hexagon NPU 版本。

地端推論開源 llama.cpp OpenCL topk lightning indexer 版本更新

llama.cpp releases10/4 00:37AI 評分33

llama.cpp 為 WebGPU 後端加入 f16 支援

llama.cpp 發布 b11382 版本，為 WebGPU 後端的 fill/set_rows 操作加入 f16 支援（PR #29897）。該版本同時更新了覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的多平台建置產物，包括 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU…

地端推論開源 llama.cpp WebGPU f16 本地推理版本更新

llama.cpp releases10/23 07:32AI 評分36

llama.cpp b11835：SYCL 將 device 傳入 mul_mat_uses_onednn

llama.cpp 發布 b11835 建置版本，主要變更是 SYCL 後端把 device 傳入 mul_mat_uses_onednn（#31014）。該版本同步提供 macOS Apple Silicon、Linux/Windows 的 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等預編譯包，並包含 Android arm64 與 Snapdragon 的 CPU/Adreno GPU/Hexagon NPU 建置。

地端推論開源 llama.cpp SYCL 版本發布本地推理多後端建置

llama.cpp releases10/9 09:29AI 評分50

llama.cpp b11518 為 Metal 新增 128/96 Flash Attention 核心

llama.cpp 發布 b11518，Metal 後端加入 128 與 96 兩檔 Flash Attention 核心，並接受所有已編譯的維度組合（#30209）。該版本同時提供 macOS/iOS、Linux、Android、Windows 與 openEuler 的預編譯產物，覆蓋 CPU、Vulkan、CUDA 12/13、ROCm 10.0、SYCL、OpenVINO 及 Snapdragon 的 Adreno GPU 與 Hexagon NPU；

地端推論開源 llama.cpp Metal Flash Attention 建置發布

llama.cpp releases10/22 07:52AI 評分38

llama.cpp 合併 SYCL FP16/FP32 反量化開關

llama.cpp 發布 b11810 建置，SYCL 後端把 FP16 與 FP32 的反量化開關合併為一項（#30740）。同一版本更新了多平台預編譯產物，涵蓋 macOS Apple Silicon 與 Intel、iOS XCFramework、Ubuntu 和 Windows 上的 CUDA 12/CUDA 13、Vulkan、ROCm 10.0、OpenVINO，以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU 建置。

地端推論開源 llama.cpp SYCL FP16 FP32 版本發布

llama.cpp releases10/21 16:04AI 評分38

llama.cpp 的 OpenCL 後端新增 IM2COL_3D 支援

llama.cpp 建置 b11797 為 ggml-opencl 後端加入 IM2COL_3D 支援，讓 OpenCL 路徑可以處理三維卷積的 im2col 展開。同一提交還統一了 kernel 與 host 端的資料型別，並修復了舊款 Adreno GPU 的相容問題；該改動由高通工程師參與提交。

地端推論開源 llama.cpp ggml-opencl OpenCL IM2COL_3D 版本發布

llama.cpp releases10/7 13:02AI 評分37

llama.cpp b11471 為詞表加入 Plamo FIM tokens

llama.cpp 發布 b11471 建置，主要變更是向詞表加入 Plamo 的 FIM（fill-in-the-middle）tokens，服務程式碼補全場景。該版本發布包覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler，後端包含 CPU、Vulkan、CUDA 12.8/13.4、ROCm 10.0、OpenVINO、SYCL，以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU。

地端推論開源 llama.cpp 本地推理 PLaMo FIM 版本更新

llama.cpp releases10/22 18:59AI 評分53

llama.cpp b11826 新增 MiniCPM-OCR 1.0 支援

llama.cpp 建置 b11826 在 mtmd 多模態模組中加入 MiniCPM-OCR 1.0 支援，本地推理可直接用上這一 OCR 模型。同批預編譯包覆蓋 macOS（Apple Silicon 與 Intel）、iOS、Android、Windows、Linux 及 openEuler，包含 CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO 與驍龍 CPU/Adreno GPU/Hexagon NPU 後端。

地端推論開發工具 llama.cpp MiniCPM-OCR 多模態本地推理版本更新

llama.cpp releases10/23 08:23AI 評分37

llama.cpp b11836 發布：補 CANN const 限定符，KleidiAI 版 macOS 建置被停用

llama.cpp 發布 b11836 建置，程式碼改動僅為給 CANN 後端補齊缺失的 const 限定符以保持一致性（#30933）。該版本照常提供 macOS/iOS、Linux、Android、Windows 預編譯包，覆蓋 CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO 以及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU。

地端推論開源 llama.cpp 建置發布本地推理 CANN 跨平台

llama.cpp releases10/5 08:19AI 評分12

llama.cpp 發布 b11407，修復 Vulkan 測試編譯錯誤

llama.cpp 發布 b11407 版本，修復了在開啟 -DGGML_VULKAN_RUN_TESTS=ON 時 Vulkan 後端出現的未宣告識別符號問題。該版本同步提供 macOS、Linux、Windows、Android 等多平台預編譯包，涵蓋 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL 及 Snapdragon 的 Adreno GPU 與 Hexagon NPU 等後端。

地端推論開源 llama.cpp Vulkan 建置版本推理後端

llama.cpp releases10/30 01:15AI 評分41

llama.cpp 新增對 Mistral Le Chonk 模型的支援

llama.cpp 發布 b11998 版本，新增對 Mistral 新模型 Le Chonk 的適配，同時把 DSA 與 sdpark 擴充套件到該模型。該版本照例同步更新各平台預編譯包，覆蓋 macOS Apple Silicon、iOS、Windows 的 CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm 10.0，以及 Linux、Android 和高通的 Adreno GPU、Hexagon NPU。

地端推論開源 llama.cpp Mistral Le Chonk 版本更新本地推理

llama.cpp releases10/12 14:27AI 評分45

llama.cpp b11572 新增 vLLM d3 模型支援

llama.cpp 發布 b11572，新增對 vLLM d3 模型的支援（d2 同步更新），並加入 pplx-decider 模型支援，同時澄清命名規則、加強校驗。該版本照例提供 macOS/iOS、Linux、Windows、Android、openEuler 的預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及驍龍 CPU/Adreno GPU/Hexagon NPU 等後端。

地端推論開源 llama.cpp 版本更新本地推理 CUDA Vulkan

1 個來源 · 3 則報導閱讀原文

llama.cpp releases10/14 00:21AI 評分42

llama.cpp b11607 發布：chat 輸出改為 parts 結構

llama.cpp 發布 b11607 建置，主要變更是把 chat 的輸出由單個字串改為 parts 結構（PR #30389）。同版本更新了各平台預編譯產物，覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，含 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端，以及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 支援。

地端推論開源 llama.cpp 本地推理開源版本發布建置產物

llama.cpp releases10/5 14:50AI 評分42

llama.cpp 發布 b11424，修復 Vulkan Flash Attention 共享記憶體越界寫

llama.cpp 發布 b11424 建置版本，修復 Vulkan 後端 Flash Attention 的共享記憶體越界寫問題（#29988）。該版本照例提供 macOS/iOS、Linux、Windows、Android 的預編譯包，涵蓋 Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL、OpenCL 等後端，並附驍龍 CPU/Adreno GPU/Hexagon NPU 的安裝指引。

地端推論開源 llama.cpp Vulkan Flash Attention 記憶體越界版本更新

llama.cpp releases10/3 21:09AI 評分27

llama.cpp 發布新版本，將 cpp-httplib 升級至 0.59.0

llama.cpp 發布更新，將依賴庫 cpp-httplib 升級到 0.59.0，對應 PR #29886。該版本繼續提供覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的預編譯建置，包括 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 以及 Snapdragon 的 CPU、Adreno GPU 和 Hexagon NPU 等後端。

地端推論開源 llama.cpp cpp-httplib 版本更新本地推理跨平台建置

llama.cpp releases10/10 18:33AI 評分37

llama.cpp b11550：s390x 關閉 z17 建置目標

llama.cpp 發布建置 b11550，唯一的程式碼改動是在 s390x 上對不支援的編譯器關閉 z17 目標（PR #30297）。預編譯產物繼續覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，含 CUDA 12.8 與 CUDA 13.4、Vulkan、ROCm 10.0、SYCL、OpenVINO，以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU 後端。

地端推論開源 llama.cpp 本地推理版本發布 s390x 跨平台建置

llama.cpp releases10/12 14:00AI 評分42

llama.cpp 新增 pplx-decider 模型支援

llama.cpp 發布 b11571 建置，新增對 pplx-decider（vLLM decision 2）模型的支援，並加入更嚴格的模型校驗、明確命名規則等改動。該版本同步提供 macOS、Linux、Windows、Android 各平台預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 以及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。

地端推論開源 llama.cpp 版本更新本地推理 vLLM 跨平台建置

1 個來源 · 3 則報導閱讀原文

llama.cpp releases10/7 12:28AI 評分35

llama.cpp 發布 b11468，cpp-httplib 升級至 0.60.0

llama.cpp 發布新建置 b11468，主要變更是將 cpp-httplib 升級到 0.60.0（#30081）。該版本同時提供 macOS/iOS、Linux、Windows、Android 與 openEuler 的預編譯產物，後端覆蓋 Apple Silicon arm64、CUDA 12.8 與 CUDA 13.4、Vulkan、ROCm 10.0、OpenVINO、SYCL FP32/FP16，以及 Snapdragon 的 CPU、Adreno GPU 與…

開源地端推論 llama.cpp cpp-httplib 版本更新本地推理跨平台建置

llama.cpp releases10/28 10:32AI 評分30

llama.cpp 發布 b11954，調整測試常量減少無關警告

llama.cpp 發布建置 b11954，本次唯一的程式碼改動是調整測試常量以減少無關警告（#31254）。預編譯包仍覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler，包含 CUDA 12、CUDA 13.4、ROCm 10.0、Vulkan、OpenVINO、SYCL，以及驍龍 CPU、Adreno GPU、Hexagon NPU 等後端；

地端推論開源 llama.cpp 本地推理多平台建置版本發布

llama.cpp releases10/7 11:52AI 評分42

llama.cpp b11466 修復 WebGPU flash_attn 的 KV 重疊檢查

llama.cpp 發布 b11466，唯一程式碼改動是修復 ggml-webgpu 後端 flash_attn 對 KV 重疊情形的 supports_op 檢查（#28205）。該版本同步更新各平台預編譯包，涵蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，後端包括 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO，以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU；

地端推論開源 llama.cpp WebGPU flash attention 本地推理版本發布

llama.cpp releases10/21 03:40AI 評分45

llama.cpp b11778 支援 Nemotron-3(.5)-Embed 模型

llama.cpp 發布 b11778 版本，新增對 Nemotron-3(.5)-Embed 嵌入模型的支援。該版本同步提供 macOS Apple Silicon、iOS、Linux（CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL）以及 Windows、Android、openEuler 等多平台預編譯包，搭載高通晶片的裝置還能額外使用 Adreno GPU 與 Hexagon NPU 加速。

地端推論開源 llama.cpp Nemotron-3(.5)-Embed 嵌入模型本地推理版本更新

llama.cpp releases10/7 06:53AI 評分42

llama.cpp 發布 b11461，修復 AMD 核顯 Vulkan 檢查點讀取慢

llama.cpp 發布 b11461，主要改動是修復 AMD 整合顯示卡在 Vulkan 後端下檢查點（checkpoint）讀取過慢的問題，對應 PR #30049。該版本同時更新了 macOS/iOS、Linux、Android、Windows、openEuler 的預編譯包，覆蓋 Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL，以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU 後端。

地端推論開源 llama.cpp Vulkan AMD iGPU 版本更新本地推理

llama.cpp releases10/8 08:51AI 評分42

llama.cpp 為 SYCL 後端加入分組 MoE XMX GEMM

llama.cpp 建置 b11493 為 SYCL 後端新增分組 MoE XMX GEMM 運算元（#29245），面向混合專家模型的矩陣乘加速。該版本同時放出全平台建置產物，覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，包含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16，以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU 組合。

地端推論開源 llama.cpp SYCL MoE GEMM 本地推理