搜尋

找到 50 筆

llama.cpp releases10/16 09:43AI 評分41

llama.cpp 建置 b11687：重構 ggml-cpu s309x repack 輔助函式

llama.cpp 發布建置 b11687，核心改動是重構 ggml-cpu 的 s309x repack 輔助函式（PR #30588）。同批預編譯產物覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler，其中 macOS Apple Silicon 的 KleidiAI 啟用版和 openEuler 建置被標記為 DISABLED。

地端推論開源 llama.cpp ggml s390x CPU 最佳化版本發布

llama.cpp releases10/4 14:43AI 評分30

llama.cpp 發布 b11392 建置，CI 預設權限調整

llama.cpp 發布 b11392 版本，主要變更是 CI 設定預設權限（#29945）。該版本提供覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的預編譯產物，包括 Apple Silicon arm64、CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 等後端；

地端推論開源 llama.cpp 版本更新本地推理跨平台建置

llama.cpp releases10/8 13:00AI 評分37

llama.cpp b11501：SYCL 後端 FWHT 最佳化，macOS KleidiAI 建置停用

llama.cpp 發布 b11501 建置，主要變更是 SYCL 後端的 FWHT 最佳化（PR #29605）。該版本繼續提供 macOS/iOS、Linux、Windows、Android 與 openEuler 的預編譯包，覆蓋 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL FP32/FP16，以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU。

地端推論開源 llama.cpp SYCL FWHT 版本更新本地推理

llama.cpp releases10/12 22:58AI 評分40

llama.cpp 建置 b11577 修復 vllm 多序列用例

llama.cpp 發布建置 b11577，主要修復 vllm 的 d3 多序列用例（#30408），並留下一處 TODO。同一批建置覆蓋 macOS Apple Silicon 與 Intel、iOS XCFramework、Linux、Android、Windows 與 openEuler，後端含 CPU、Vulkan、CUDA 12（12.4 DLLs）與 CUDA 13（13.4 DLLs）、ROCm 10.0、OpenVINO 與 SYCL，Snapdragon 版…

地端推論開源 llama.cpp 本地推理版本發布 CUDA Vulkan

1 個來源 · 3 則報導閱讀原文

llama.cpp releases11/1 06:45AI 評分38

llama.cpp 建置 b12028 在測試中啟用 Gemma 4 並採用 GQA

llama.cpp 發布建置 b12028，在 test-llama-archs 中啟用 Gemma 4，並讓該測試對 Gemma 4 採用 GQA。該版本照例提供 macOS/iOS、Linux、Android、Windows 與 openEuler 的多平台建置產物，涵蓋 CUDA、Vulkan、ROCm、OpenVINO、SYCL 以及 Snapdragon 的 CPU、Adreno GPU 和 Hexagon NPU 等後端；

地端推論開源 llama.cpp Gemma 4 本地推理版本更新

llama.cpp releases11/4 12:37AI 評分30

llama.cpp 發布 b12109，同步 ggml 上游並更新各平台建置

llama.cpp 發布建置版本 b12109，本次更新為同步 ggml 上游程式碼。該版本提供的預編譯包覆蓋 macOS Apple Silicon（arm64）與 Intel、iOS XCFramework、Linux（CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL）、Windows、Android 及 openEuler 的 310p 與 910b（含 ACL Graph）。

地端推論開源 llama.cpp 建置發布本地推理跨平台 ggml

llama.cpp releases10/30 16:09AI 評分30

llama.cpp 發布 b12015，刪除 fs_path_to_utf8() 並更新多平台建置

llama.cpp 發布 b12015 版本，合入編號 #31423 的 common 改動，刪除 fs_path_to_utf8() 函式。同版建置覆蓋 macOS Apple Silicon、iOS XCFramework、Linux（含 CUDA 12.8/13.4、ROCm 10.0、Vulkan、OpenVINO、SYCL）以及 Android、Windows arm64/x64 等平台，其中 macOS Apple Silicon 的 KleidiAI 版本與 o…

地端推論開源 llama.cpp 版本發布本地推理跨平台建置產物

1 個來源 · 3 則報導閱讀原文

llama.cpp releases11/2 14:09AI 評分37

llama.cpp 發布 b12040，macOS 的 KleidiAI 建置被停用

llama.cpp 發布 b12040 建置，仍提供 macOS/iOS、Linux、Android、Windows 等多平台預編譯包，覆蓋 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL 及驍龍 CPU/GPU/NPU 組合。該版本中 macOS Apple Silicon 的 KleidiAI 加速建置與 openEuler 建置被標記為 DISABLED，同時合併了一項測試改動：合併相同的 if 分支（#31523）。

地端推論開源 llama.cpp 本地推理版本發布多平台建置

llama.cpp releases10/23 08:23AI 評分37

llama.cpp b11836 發布：補 CANN const 限定符，KleidiAI 版 macOS 建置被停用

llama.cpp 發布 b11836 建置，程式碼改動僅為給 CANN 後端補齊缺失的 const 限定符以保持一致性（#30933）。該版本照常提供 macOS/iOS、Linux、Android、Windows 預編譯包，覆蓋 CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO 以及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU。

地端推論開源 llama.cpp 建置發布本地推理 CANN 跨平台

llama.cpp releases10/23 13:39AI 評分42

llama.cpp 修復 ggml_time_us 時間溢位，改用 double

llama.cpp 建置 b11838 修復了 ggml_time_us 的時間溢位問題，實現上改用 double（#30969）。該版本同時提供 macOS/iOS、Linux、Android、Windows 等多平台預編譯包，其中 macOS Apple Silicon 的 KleidiAI 建置與 openEuler 建置被標記為 DISABLED。

地端推論開源 llama.cpp ggml 時間溢位 double 版本發布

llama.cpp releases10/21 22:34AI 評分55

llama.cpp 新增 Flint 模型支援，多平台建置同步更新

llama.cpp 建置 b11803 合併了對新模型 Flint（FlintForCausalLM）的支援，該提交由 Codex 協助完成，合作者包括 Hugging Face 的 Sigbjørn Skjæret。同版本的預編譯產物覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler，包含 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端。

模型地端推論 Flint llama.cpp 本地推理模型支援 Codex

6 個來源 · 9 則報導閱讀原文

llama.cpp releases10/10 18:33AI 評分37

llama.cpp b11550：s390x 關閉 z17 建置目標

llama.cpp 發布建置 b11550，唯一的程式碼改動是在 s390x 上對不支援的編譯器關閉 z17 目標（PR #30297）。預編譯產物繼續覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，含 CUDA 12.8 與 CUDA 13.4、Vulkan、ROCm 10.0、SYCL、OpenVINO，以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU 後端。

地端推論開源 llama.cpp 本地推理版本發布 s390x 跨平台建置

llama.cpp releases10/30 20:23AI 評分26

llama.cpp 建置 b12017 刪除 rpc 中的 fs_path_to_utf8()

llama.cpp 發布建置 b12017，主要變更是刪除 rpc 模組中的 fs_path_to_utf8() 函式。該版本照例提供各平台預編譯包：Linux 與 Windows 覆蓋 CPU、CUDA 12（12.4/12.8 庫）、CUDA 13（13.4 庫）、Vulkan、ROCm 10.0、SYCL 與 OpenVINO，另有 Android arm64、iOS XCFramework 以及 Snapdragon 的 Adreno GPU、Hexagon NPU…

地端推論開源 llama.cpp 建置發布本地推理 RPC 跨平台

1 個來源 · 3 則報導閱讀原文

llama.cpp releases10/24 19:34AI 評分20

llama.cpp 建置 b11865：RPC 的 RDMA 接收路徑增加邊界檢查

llama.cpp 發布 b11865 建置，唯一程式碼改動是在 RPC 的 rdma_recv 中增加邊界檢查（#30399），屬於對遠端呼叫收包路徑的加固。建置產物仍覆蓋 macOS/iOS、Linux（CUDA 12.8 與 13.4、ROCm 10.0、Vulkan、SYCL、OpenVINO）、Android 以及 Windows arm64 的 Snapdragon CPU/Adreno GPU/Hexagon NPU 等平台。

地端推論開源 llama.cpp RPC RDMA 版本發布跨平台建置

llama.cpp releases10/7 06:02AI 評分37

llama.cpp b11460：SYCL 後端新增 IQ3_S 多列 MMVQ

llama.cpp 發布建置 b11460，SYCL 後端新增 IQ3_S 的多列 MMVQ 支援（PR #29500）。該版本繼續提供覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler 的預編譯包，其中 Ubuntu x64 與 Windows x64 包含 SYCL FP32、FP16 建置。

開發工具地端推論 llama.cpp SYCL IQ3_S MMVQ 版本發布

llama.cpp releases10/16 10:06AI 評分43

llama.cpp b11688 合併 AVX2 分塊累加器並更新全平台建置

llama.cpp 合併 PR #30296，把 CPU 上的 AVX2 分塊累加器（tiled accumulators）歸併處理，用於最佳化 x86 CPU 推理，改動由 Codex 協助完成。同版本 b11688 放出多平台預編譯建置，覆蓋 macOS Apple Silicon 與 Intel、iOS、Linux、Windows、Android、openEuler，含 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等後端。

地端推論開源 llama.cpp AVX2 CPU 推理最佳化預編譯建置 b11688

llama.cpp releases● 精選10/5 16:57AI 評分62

llama.cpp 版本號升至 0.6.0，多平台建置產物同步更新

llama.cpp 將版本號提升到 0.6.0（PR #29997），並更新了 scripts 的 summary prompt。隨版本給出的建置產物覆蓋 macOS（Apple Silicon arm64、Intel x64）、iOS XCFramework、Linux（Ubuntu x64/arm64/s390x，含 CUDA 12、CUDA 13、ROCm 10.0、Vulkan、OpenVINO、SYCL）、Android arm64、Windows（x64/arm6…

地端推論開源 llama.cpp 0.6.0 本地推理版本發布

llama.cpp releases10/3 13:27AI 評分27

llama.cpp 修復 f16 ADD_ADD 不穩定測試併發布多平台建置

llama.cpp 合併 PR #29904，通過改用融合 ADD 容差修復 f16 下 ADD_ADD 測試的 flaky 問題。隨附的建置覆蓋 macOS Apple Silicon、iOS、Linux、Android、Windows 及 openEuler，包含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 等後端，其中 macOS Apple Silicon 的 KleidiAI 版本和 openEuler 被標記為 DISABL…

地端推論開源 llama.cpp 版本發布推理後端 CUDA 跨平台

llama.cpp releases10/3 01:06AI 評分40

llama.cpp 新增 nimble 決策模型支援

llama.cpp 發布 b11364 版本，新增對 nimble 決策模型的支援（PR #29844）。該版本覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 平台，提供 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL、Snapdragon 的 Adreno GPU 與 Hexagon NPU 等後端建置；

地端推論開源 llama.cpp 推理引擎跨平台建置本地推理

llama.cpp releases10/21 01:30AI 評分38

llama.cpp 新建置支援 CUDA 下 7 尺寸 SSM 卷積核

llama.cpp 發布 b11770 建置，CUDA 後端新增對 ssm_conv 卷積核尺寸 7 的支援（#30873），補齊狀態空間模型在 GPU 上的運算元覆蓋。該版本同時提供 macOS、iOS、Linux、Android、Windows 與 openEuler 的預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。

地端推論開源 llama.cpp ggml-cuda CUDA 本地推理版本發布

llama.cpp releases11/4 12:56AI 評分42

llama.cpp 版本號升至 0.9.0

llama.cpp 發布 b12110 建置，版本號提升至 0.9.0。隨版本一同更新的多平台預編譯包覆蓋 macOS Apple Silicon/Intel、iOS XCFramework、Windows 與 Linux 的 CPU、CUDA 12/13（12.8/13.4 庫）、Vulkan、ROCm 10.0、OpenVINO、SYCL，以及 Android 與驍龍 CPU/Adreno GPU/Hexagon NPU 建置。

地端推論開源 llama.cpp 0.9.0 版本發布本地推理多平台建置

2 個來源 · 3 則報導閱讀原文

llama.cpp releases10/7 05:02AI 評分36

llama.cpp 發布 b11459：ggml-webgpu 在 WASI 上停用 Dawn 原生特性

llama.cpp 發布建置 b11459，唯一列出的程式碼改動是 ggml-webgpu 在 WASI 上不再啟用 Dawn 原生特性。該建置的預編譯產物覆蓋 macOS Apple Silicon（arm64）與 Intel（x64）、iOS XCFramework、Linux、Android、Windows 以及 openEuler。後端包括 CPU、Vulkan、CUDA 12、CUDA 13、ROCm 10.0、OpenVINO 與 SYCL；

地端推論開源 llama.cpp ggml-webgpu WASI 建置跨平台

llama.cpp releases10/30 11:49AI 評分36

llama.cpp b12003：SYCL 後端 FLASH_ATTN_EXT 失敗待修

llama.cpp 發布建置版本 b12003，已知問題是 SYCL 後端的 FLASH_ATTN_EXT 出現失敗（issue #30761）。該版本仍覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler，包含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL，以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU 建置。

地端推論開源 llama.cpp SYCL FLASH_ATTN_EXT 版本發布

llama.cpp releases10/4 08:06AI 評分20

llama.cpp 發布 b11384 版本，覆蓋多平台預編譯包

llama.cpp 發布 b11384 版本，官網為 llama.app，並附 GitHub 建置證明。該版本提供 macOS、iOS、Linux、Android、Windows 及 openEuler 的預編譯包，涵蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。

地端推論開源 llama.cpp 版本發布跨平台建置 CUDA Vulkan

llama.cpp releases10/30 00:54AI 評分43

llama.cpp b11997 複用張量暫存緩衝，跳過 direct-io bounce buffer

llama.cpp 發布 b11997 建置，核心改動是複用張量暫存緩衝、跳過 direct-io 的 bounce buffer（#31321）。建置矩陣覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler，新增 Ubuntu 26.04 s390x（含 zDNN）目標，CUDA 建置統一到 13.4 庫，Windows x64 的 CUDA 12 仍配 12.4 DLL；

地端推論開源 llama.cpp 本地推理版本更新 tensor staging buffer direct-io

llama.cpp releases10/2 22:23AI 評分37

llama.cpp 發布 b11352 版本，最佳化 Qwen4 掩碼構造

llama.cpp 發布 b11352 建置版本，主要變更為最佳化 Qwen4 的掩碼構造（#29824），並將相同改動應用到 GLM5-next。該版本覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 平台，提供 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等多種後端建置，其中 macOS Apple Silicon 的 KleidiAI 建置被標記為 DISABLED。

地端推論開源 llama.cpp 本地推理開源 Qwen GLM

llama.cpp releases10/16 23:24AI 評分45

llama.cpp b11701 新增 Beam (Reflection) 模型支援

llama.cpp 建置 b11701 加入 Beam (Reflection) 模型支援（PR #30670），官方站點為 llama.app。該版本同步釋出 macOS（Apple Silicon/Intel）、iOS、Linux、Windows、Android 與 openEuler 的預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 以及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU…

模型地端推論 llama.cpp Beam (Reflection)本地推理跨平台建置 b11701

5 個來源 · 8 則報導閱讀原文

llama.cpp releases10/16 05:50AI 評分39

llama.cpp 為 MELLUM 架構加入精度處理支援

llama.cpp 發布新建置 b11681，為 MELLUM 架構加入精度處理（PR #30584）。該版本提供 macOS/iOS、Linux、Android、Windows 與 openEuler 的預編譯包，涵蓋 CPU、Vulkan、CUDA 12/13、ROCm 10.0、SYCL、OpenVINO 以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU 後端。

地端推論開源 llama.cpp MELLUM 精度處理本地推理建置版本

llama.cpp releases10/31 21:38AI 評分39

llama.cpp 發布 b12024，LFM 多模態改用 2D 張量重塑

llama.cpp 發布建置 b12024，主要程式碼改動是把 LFM 多模態（mm）的重塑操作改為在 2D 而非 3D 張量上進行。其餘為該版本的多平台建置產物清單：macOS Apple Silicon 與 Intel、iOS XCFramework、Linux（CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO、s390x）、Android、Windows 及 openEuler。

地端推論開源 llama.cpp 本地推理跨平台建置 CUDA Vulkan

llama.cpp releases10/9 22:41AI 評分37

llama.cpp b11539 應用上游深層巢狀 JSON 補丁

llama.cpp 發布 b11539 建置，唯一程式碼改動是應用來自上游的深層巢狀 JSON 補丁（#30253）。各平台預編譯包照常提供，覆蓋 macOS/iOS、Ubuntu（CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL）、Android、Windows 以及 openEuler。其中 macOS Apple Silicon 的 KleidiAI 啟用版和 openEuler 建置本次被標記為 DISABLED。

地端推論開源 llama.cpp 版本更新本地推理建置產物

llama.cpp releases10/21 16:40AI 評分43

llama.cpp b11798 支援 Jinja 十六進位制字串轉義

llama.cpp 發布建置 b11798，主要變更是 Jinja 支援十六進位制字串轉義（#30929）。該版本同步更新多平台預編譯產物，覆蓋 macOS Apple Silicon、iOS、Android，以及 Linux/Windows 的 CPU、CUDA 12/13、Vulkan、ROCm、SYCL、OpenVINO 等後端；

地端推論開源 llama.cpp b11798 Jinja 版本發布跨平台建置

llama.cpp releases10/12 06:41AI 評分40

llama.cpp 更新：ggml 符號預設改為 hidden

llama.cpp 發布 b11563 建置，其中 ggml 把符號預設可見性改為 hidden，避免一批內部符號通過 GGML_API 洩漏（#30014，討論見 #29997）。同批建置覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，含 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端。

地端推論開源 llama.cpp ggml 符號可見性版本發布本地推理

llama.cpp releases10/16 11:29AI 評分40

llama.cpp b11696 修正 Hexagon HMX FA sinks

llama.cpp 新建置 b11696 修正了 Hexagon NPU 上 HMX 核心的 flash attention sink 計算，並把 sinks 做了向量化，提交由高通工程師 Max Krasnyansky 參與。該版本照例給出 macOS/iOS、Linux、Windows、Android、openEuler 的預編譯包，涵蓋 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL 等後端；

地端推論開源 llama.cpp Hexagon NPU Snapdragon 建置發布本地推理

llama.cpp releases10/9 13:57AI 評分41

llama.cpp b11526 修復 Vulkan rms_norm 溢位問題

llama.cpp 發布建置 b11526，主要修復 Vulkan 後端 rms_norm 工作組數量溢位（#30145）。該版本繼續為 macOS/iOS、Linux、Windows、Android 與 openEuler 提供多後端建置，覆蓋 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 以及驍龍平台的 Adreno GPU 與 Hexagon NPU；

地端推論開源 llama.cpp Vulkan RMS Norm 版本更新本地推理

llama.cpp releases10/9 20:14AI 評分40

llama.cpp b11538 修復 MSVC 下 CUDA 舍入問題

llama.cpp 發布 b11538 建置，修復 CUDA 後端的舍入問題，使 MSVC 下 CPU 與 GPU 的計算結果一致。本次發布包覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，其中 CUDA 12/13 預編譯包分別對應 CUDA 12.8 與 13.4 庫，Linux 與 Windows x64 另有 ROCm 10.0、OpenVINO、SYCL、Vulkan 建置，Snapdragon 平台提供 CPU、Adr…

地端推論開源 llama.cpp CUDA 本地推理版本發布建置產物

llama.cpp releases10/16 09:29AI 評分35

llama.cpp 為 SYCL 後端最佳化 q4_K/q5_K 反量化

llama.cpp 建置 b11685 合入 #29696，為 SYCL 後端在 q4_K/q5_K 權重的反量化中加入寬儲存（wide stores），以提升該後端上的推理效率。該版本照常覆蓋 macOS/iOS、Linux、Android 與 Windows，含 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL FP32/FP16 以及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等建置。

地端推論開源 llama.cpp SYCL 量化反量化本地推理建置發布

llama.cpp releases10/22 07:52AI 評分38

llama.cpp 合併 SYCL FP16/FP32 反量化開關

llama.cpp 發布 b11810 建置，SYCL 後端把 FP16 與 FP32 的反量化開關合併為一項（#30740）。同一版本更新了多平台預編譯產物，涵蓋 macOS Apple Silicon 與 Intel、iOS XCFramework、Ubuntu 和 Windows 上的 CUDA 12/CUDA 13、Vulkan、ROCm 10.0、OpenVINO，以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU 建置。

地端推論開源 llama.cpp SYCL FP16 FP32 版本發布

llama.cpp releases10/5 13:23AI 評分49

llama.cpp 最佳化 CUDA 後端 NVFP4 的 mmq 累加

llama.cpp 發布 b11417 建置，CUDA 後端針對 NVFP4 型別的 mmq 累加做了最佳化，改進 mmq_vec_dot_fp4_fp4_mma 以提升效能，並修正 mma_block_scaled_fp4 迴圈的縮排。該版本建置覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，包含 CUDA 12.8、CUDA 13.4、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端；

地端推論開源 CUDA NVFP4 量化效能最佳化 llama.cpp

llama.cpp releases10/14 00:21AI 評分42

llama.cpp b11607 發布：chat 輸出改為 parts 結構

llama.cpp 發布 b11607 建置，主要變更是把 chat 的輸出由單個字串改為 parts 結構（PR #30389）。同版本更新了各平台預編譯產物，覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，含 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端，以及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 支援。

地端推論開源 llama.cpp 本地推理開源版本發布建置產物

llama.cpp releases10/22 01:30AI 評分41

llama.cpp b11804 為 OpenCL 後端補上 ARGMAX 運算元

llama.cpp 發布 b11804 建置，為 OpenCL 後端新增 F32→I32 的 ARGMAX 運算元（#30897），並把 OpenCL 初始化改為置 0，與 CPU 後端保持一致。該提交有高通工程師參與協助。同版本預編譯包覆蓋 macOS/iOS、Linux、Android 與 Windows，含 CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO 等後端；

地端推論開源 llama.cpp OpenCL ARGMAX 建置發布 Snapdragon

llama.cpp releases10/6 21:09AI 評分41

llama.cpp b11456：CUDA 緩衝區初始化改用每執行緒流

llama.cpp 發布建置 b11456，其中 ggml-cuda 在緩衝區初始化的 padding memset 中改用每執行緒 stream（#28782），CI 也重新為 ROCm 啟用 test-backend-ops 的 -j 並行測試。該建置覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler，含 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等後端；

地端推論開源 llama.cpp CUDA ROCm 本地推理版本更新

llama.cpp releases10/3 21:09AI 評分27

llama.cpp 發布新版本，將 cpp-httplib 升級至 0.59.0

llama.cpp 發布更新，將依賴庫 cpp-httplib 升級到 0.59.0，對應 PR #29886。該版本繼續提供覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的預編譯建置，包括 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 以及 Snapdragon 的 CPU、Adreno GPU 和 Hexagon NPU 等後端。

地端推論開源 llama.cpp cpp-httplib 版本更新本地推理跨平台建置

llama.cpp releases10/8 12:20AI 評分41

llama.cpp b11499 發布，CUDA 的 ROLL 運算支援非連續張量

llama.cpp 發布 b11499 建置，CUDA 後端改用位元組步長實現 roll，使 ROLL 運算可以作用於非連續張量（#29547）。該版本照例提供各平台預編譯產物：macOS Apple Silicon 與 Intel、iOS XCFramework，以及 Linux、Windows、Android 的 CPU、Vulkan、CUDA 12/CUDA 13、ROCm 10.0、OpenVINO、SYCL 建置，其中 CUDA 12 與 13 分別打包 12.8、1…

地端推論開源 llama.cpp CUDA b11499 本地推理多平台建置

llama.cpp releases10/25 16:34AI 評分41

llama.cpp 合併 GGUF 時拒絕截斷的張量資料

llama.cpp 新建置 b11880 在合併 GGUF 張量資料時，會拒絕被截斷的資料，避免合出損壞的模型檔案；對應提交為 #31044，改動位於 tools。該版本仍覆蓋 macOS Apple Silicon、iOS、Linux（CUDA 12/13、ROCm、Vulkan、SYCL、OpenVINO）、Android 與 Windows 等平台，但啟用 KleidiAI 的 macOS Apple Silicon 建置和 openEuler 建置在本期被標記為停用。

地端推論開源 llama.cpp GGUF 版本發布本地推理模型合併

1 個來源 · 2 則報導閱讀原文

llama.cpp releases10/26 22:33AI 評分41

llama.cpp 為 Laguna 模型啟用 MoE amax 重縮放

llama.cpp 發布 b11912 建置，為 Laguna 模型啟用 MoE amax 重縮放，並宣告 Laguna SM 張量支援，主要是針對該模型的推理適配。此次同時更新了各平台預編譯包，覆蓋 macOS Apple Silicon、iOS、Windows 與 Linux 的 CUDA、Vulkan、ROCm、SYCL 等後端，並新增 arm64 CUDA 13 與 Snapdragon NPU 建置。

地端推論開源 llama.cpp MoE Laguna amax rescaling 版本更新

1 個來源 · 4 則報導閱讀原文

llama.cpp releases● 精選10/3 00:28AI 評分68

llama.cpp 為 Metal 新增 F16 KV 張量 API flash attention 核心

llama.cpp 合併 PR #29570，在 Metal 後端為 F16 KV 快取加入基於張量 API 的 flash attention 核心。該核心覆蓋 DK=DV=512、DK=576/DV=512、DK=192/DV=128 等配置，並支援 attention sinks、ALiBi 與 logit softcap。改動隨 b11362 建置發布，覆蓋 macOS Apple Silicon、iOS 及 Linux、Windows、Android 等多平台建置。

地端推論開源 llama.cpp Metal Flash Attention Apple Silicon 推理核心

llama.cpp releases10/7 12:28AI 評分35

llama.cpp 發布 b11468，cpp-httplib 升級至 0.60.0

llama.cpp 發布新建置 b11468，主要變更是將 cpp-httplib 升級到 0.60.0（#30081）。該版本同時提供 macOS/iOS、Linux、Windows、Android 與 openEuler 的預編譯產物，後端覆蓋 Apple Silicon arm64、CUDA 12.8 與 CUDA 13.4、Vulkan、ROCm 10.0、OpenVINO、SYCL FP32/FP16，以及 Snapdragon 的 CPU、Adreno GPU 與…

開源地端推論 llama.cpp cpp-httplib 版本更新本地推理跨平台建置

llama.cpp releases10/28 10:32AI 評分30

llama.cpp 發布 b11954，調整測試常量減少無關警告

llama.cpp 發布建置 b11954，本次唯一的程式碼改動是調整測試常量以減少無關警告（#31254）。預編譯包仍覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler，包含 CUDA 12、CUDA 13.4、ROCm 10.0、Vulkan、OpenVINO、SYCL，以及驍龍 CPU、Adreno GPU、Hexagon NPU 等後端；

地端推論開源 llama.cpp 本地推理多平台建置版本發布

llama.cpp releases10/16 11:00AI 評分40

llama.cpp b11693 修復 SYCL 後端 mul_mat 記憶體錯誤

llama.cpp 發布建置 b11693，核心改動是修復 SYCL 後端在 mul_mat、split buffer 和 host pool 中的記憶體錯誤（PR #29889）。該版本同時更新了預編譯產物清單，覆蓋 macOS/iOS、Linux、Windows、Android，包含 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO 以及 SYCL FP32/FP16 等後端。

地端推論開源 llama.cpp SYCL 記憶體錯誤修復本地推理多平台建置

llama.cpp releases10/21 11:42AI 評分40

llama.cpp b11792 將 d2t 改到 set_rows 以留在 GPU

llama.cpp 建置 b11792 將 d2t 放到其 set_rows 使用處，使其運算能留在 GPU 上，而不是回退到 CPU。該版本同時發布多平台預編譯包，覆蓋 macOS/iOS、Linux（含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL）、Android 與 Windows。需要注意的是，macOS Apple Silicon 的 KleidiAI 版本以及 openEuler 部分目標在本次建置中處於停用狀態。

地端推論開源 llama.cpp GPU 解除安裝本地推理建置版本 CUDA