搜尋

找到 38 筆

llama.cpp releases10/4 08:06AI 評分20

llama.cpp 發布 b11384 版本，覆蓋多平台預編譯包

llama.cpp 發布 b11384 版本，官網為 llama.app，並附 GitHub 建置證明。該版本提供 macOS、iOS、Linux、Android、Windows 及 openEuler 的預編譯包，涵蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。

地端推論開源 llama.cpp 版本發布跨平台建置 CUDA Vulkan

llama.cpp releases10/9 16:41AI 評分32

llama.cpp b11531 重構 chat API，同步更新多平台建置

llama.cpp 發布 b11531，主要變更是重構 chat API（#30210）。同步重新整理的預編譯產物覆蓋 macOS Apple Silicon、Ubuntu、Windows、Android 與 openEuler，包含 CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO，以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU 版本。

地端推論開源 llama.cpp 版本發布本地推理 API 重構 b11531

llama.cpp releases10/21 22:34AI 評分55

llama.cpp 新增 Flint 模型支援，多平台建置同步更新

llama.cpp 建置 b11803 合併了對新模型 Flint（FlintForCausalLM）的支援，該提交由 Codex 協助完成，合作者包括 Hugging Face 的 Sigbjørn Skjæret。同版本的預編譯產物覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler，包含 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端。

模型地端推論 Flint llama.cpp 本地推理模型支援 Codex

6 個來源 · 9 則報導閱讀原文

llama.cpp releases● 精選10/5 16:57AI 評分62

llama.cpp 版本號升至 0.6.0，多平台建置產物同步更新

llama.cpp 將版本號提升到 0.6.0（PR #29997），並更新了 scripts 的 summary prompt。隨版本給出的建置產物覆蓋 macOS（Apple Silicon arm64、Intel x64）、iOS XCFramework、Linux（Ubuntu x64/arm64/s390x，含 CUDA 12、CUDA 13、ROCm 10.0、Vulkan、OpenVINO、SYCL）、Android arm64、Windows（x64/arm6…

地端推論開源 llama.cpp 0.6.0 本地推理版本發布

llama.cpp releases10/3 13:27AI 評分27

llama.cpp 修復 f16 ADD_ADD 不穩定測試併發布多平台建置

llama.cpp 合併 PR #29904，通過改用融合 ADD 容差修復 f16 下 ADD_ADD 測試的 flaky 問題。隨附的建置覆蓋 macOS Apple Silicon、iOS、Linux、Android、Windows 及 openEuler，包含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 等後端，其中 macOS Apple Silicon 的 KleidiAI 版本和 openEuler 被標記為 DISABL…

地端推論開源 llama.cpp 版本發布推理後端 CUDA 跨平台

llama.cpp releases10/16 11:16AI 評分47

llama.cpp 為 Mellum2.1 與 Mellum 加入 MTP 支援

llama.cpp 建置 b11695 為 Mellum2.1 和 Mellum 加入 MTP（多 token 預測）支援，並把 Mellum 的 rope 構造改為內聯方式。

地端推論開源 MTP Mellum2.1 llama.cpp 本地推理多平台建置

llama.cpp releases10/13 21:49AI 評分39

llama.cpp b11602：arena 重新分配時重建全部 subgraph

llama.cpp 發布 b11602 建置，核心改動是當 arena 被重新分配時重建全部 subgraph（#30453），同一提交還回退了此前新增的測試用例。

地端推論開源 llama.cpp 本地推理版本發布多平台建置開源

llama.cpp releases10/2 13:52AI 評分17

llama.cpp 發布 b11346 版本，修復 qwen4exp 測試

llama.cpp 發布 b11346 版本，主要變更是修復 qwen4exp 的測試（#29819）。該版本為 macOS、iOS、Linux、Android、Windows 和 openEuler 提供預編譯包，覆蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端；

地端推論開源 llama.cpp 版本更新本地推理 Qwen 多平台建置

llama.cpp releases10/23 13:39AI 評分42

llama.cpp 修復 ggml_time_us 時間溢位，改用 double

llama.cpp 建置 b11838 修復了 ggml_time_us 的時間溢位問題，實現上改用 double（#30969）。該版本同時提供 macOS/iOS、Linux、Android、Windows 等多平台預編譯包，其中 macOS Apple Silicon 的 KleidiAI 建置與 openEuler 建置被標記為 DISABLED。

地端推論開源 llama.cpp ggml 時間溢位 double 版本發布

llama.cpp releases10/4 22:56AI 評分35

llama.cpp 發布 b11399，重構 CUDA swizzling 程式碼

llama.cpp 發布 b11399 版本，主要變更是重構 CUDA swizzling 程式碼並修復模板與迴圈邊界。該版本繼續提供 macOS、Linux、Windows、Android 等多平台預編譯包，其中 macOS Apple Silicon 的 KleidiAI 版本被標記為 DISABLED，openEuler 建置同樣被停用。

地端推論開源 llama.cpp CUDA swizzling 跨平台建置推理

llama.cpp releases10/21 16:40AI 評分43

llama.cpp b11798 支援 Jinja 十六進位制字串轉義

llama.cpp 發布建置 b11798，主要變更是 Jinja 支援十六進位制字串轉義（#30929）。該版本同步更新多平台預編譯產物，覆蓋 macOS Apple Silicon、iOS、Android，以及 Linux/Windows 的 CPU、CUDA 12/13、Vulkan、ROCm、SYCL、OpenVINO 等後端；

地端推論開源 llama.cpp b11798 Jinja 版本發布跨平台建置

llama.cpp releases10/4 00:37AI 評分33

llama.cpp 為 WebGPU 後端加入 f16 支援

llama.cpp 發布 b11382 版本，為 WebGPU 後端的 fill/set_rows 操作加入 f16 支援（PR #29897）。該版本同時更新了覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的多平台建置產物，包括 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU…

地端推論開源 llama.cpp WebGPU f16 本地推理版本更新

llama.cpp releases10/22 07:52AI 評分38

llama.cpp 合併 SYCL FP16/FP32 反量化開關

llama.cpp 發布 b11810 建置，SYCL 後端把 FP16 與 FP32 的反量化開關合併為一項（#30740）。同一版本更新了多平台預編譯產物，涵蓋 macOS Apple Silicon 與 Intel、iOS XCFramework、Ubuntu 和 Windows 上的 CUDA 12/CUDA 13、Vulkan、ROCm 10.0、OpenVINO，以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU 建置。

地端推論開源 llama.cpp SYCL FP16 FP32 版本發布

llama.cpp releases10/25 16:51AI 評分40

llama.cpp 建置 b11881：記憶體快取統一遵循 no_alloc

llama.cpp 發布建置 b11881，核心改動是讓所有記憶體快取統一遵循 no_alloc 設定。提交中另標註兩項待辦：把 no_alloc 從 llama_hparams 中移出；驗證在 Mac Studio（M2 Ultra、192GB）上用 DeepSeek-V4-Flash-Vision-Exp 的 GGUF 模型完成。

地端推論開源 llama.cpp no_alloc 記憶體快取建置發布多平台

llama.cpp releases10/4 19:50AI 評分23

llama.cpp 發布 b11397，CUDA 後端調整 neu_padded 位置

llama.cpp 發布建置版本 b11397，主要變更是將 CUDA 後端的 neu_padded 移動到實際使用位置（PR #29940），作者為 Hugging Face 的 Adrien Gallouët。該版本繼續提供 macOS、Linux、Windows、Android 等多平台預編譯包，覆蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端；

地端推論開源 llama.cpp CUDA 版本更新本地推理

llama.cpp releases10/13 22:39AI 評分40

llama.cpp 發布 b11606，簡化後端搜尋路徑錯誤處理

llama.cpp 發布版本 b11606，主要改動是簡化 ggml 後端搜尋路徑的錯誤處理，由 Adrien Gallouët 提交。該版本同步提供 macOS、Linux、Windows、Android 及 openEuler 等多平台建置，涵蓋 Apple Silicon、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL 等後端；

地端推論開源 llama.cpp ggml 後端搜尋路徑錯誤處理本地推理

llama.cpp releases10/5 08:19AI 評分12

llama.cpp 發布 b11407，修復 Vulkan 測試編譯錯誤

llama.cpp 發布 b11407 版本，修復了在開啟 -DGGML_VULKAN_RUN_TESTS=ON 時 Vulkan 後端出現的未宣告識別符號問題。該版本同步提供 macOS、Linux、Windows、Android 等多平台預編譯包，涵蓋 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL 及 Snapdragon 的 Adreno GPU 與 Hexagon NPU 等後端。

地端推論開源 llama.cpp Vulkan 建置版本推理後端

llama.cpp releases10/24 00:05AI 評分36

llama.cpp 建置 b11846 為 CUDA DP4A MMQ 加靜態斷言

llama.cpp 發布建置 b11846，最重要改動是在 ggm-cuda 後端為 DP4A MMQ 的 tile height 增加靜態斷言，強制其必須是 warp size 的整數倍。其餘為常規多平台建置產物更新，覆蓋 macOS Apple Silicon、Ubuntu 的 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO，以及 Windows、Android 與 openEuler 版本；

地端推論開源 llama.cpp CUDA DP4A 版本發布

llama.cpp releases10/4 20:07AI 評分45

llama.cpp 為 x86 tinyBLAS 加入 BF16/FP16/FP32 K 尾部向量化

llama.cpp 的 ggml-cpu 後端在 x86 上為 tinyBLAS 增加了 BF16、FP16、FP32 的 K 尾部支援並做了向量化，同時讓 CPU 測試在啟用 use_ref 時跳過 tinyBLAS，以便與 vec_dot 路徑對比。改動以 PR #29806 合入，隨 b11398 建置發布，覆蓋 macOS、Linux、Windows、Android 等多平台 CPU 與 GPU 後端。

地端推論開發工具 llama.cpp tinyBLAS BF16 CPU 推理 SIMD 向量化

llama.cpp releases● 精選10/3 00:28AI 評分68

llama.cpp 為 Metal 新增 F16 KV 張量 API flash attention 核心

llama.cpp 合併 PR #29570，在 Metal 後端為 F16 KV 快取加入基於張量 API 的 flash attention 核心。該核心覆蓋 DK=DV=512、DK=576/DV=512、DK=192/DV=128 等配置，並支援 attention sinks、ALiBi 與 logit softcap。改動隨 b11362 建置發布，覆蓋 macOS Apple Silicon、iOS 及 Linux、Windows、Android 等多平台建置。

地端推論開源 llama.cpp Metal Flash Attention Apple Silicon 推理核心

llama.cpp releases10/15 10:01AI 評分42

llama.cpp 修復純 embedding 模型計算圖為空的問題

llama.cpp 合併 PR #30522，修復純 embedding 模型在未開啟 embeddings 時計算圖為空、輸入始終未被分配的問題：這類模型沒有 logits，且 build_pooling() 在 embeddings 關閉時會提前返回，圖會變空，因此改為在這種情況下也擴充套件 t_embd。

地端推論開源 llama.cpp 本地推理版本更新多平台建置

llama.cpp releases10/16 11:00AI 評分40

llama.cpp b11693 修復 SYCL 後端 mul_mat 記憶體錯誤

llama.cpp 發布建置 b11693，核心改動是修復 SYCL 後端在 mul_mat、split buffer 和 host pool 中的記憶體錯誤（PR #29889）。該版本同時更新了預編譯產物清單，覆蓋 macOS/iOS、Linux、Windows、Android，包含 CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO 以及 SYCL FP32/FP16 等後端。

地端推論開源 llama.cpp SYCL 記憶體錯誤修復本地推理多平台建置

llama.cpp releases10/21 03:40AI 評分45

llama.cpp b11778 支援 Nemotron-3(.5)-Embed 模型

llama.cpp 發布 b11778 版本，新增對 Nemotron-3(.5)-Embed 嵌入模型的支援。該版本同步提供 macOS Apple Silicon、iOS、Linux（CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL）以及 Windows、Android、openEuler 等多平台預編譯包，搭載高通晶片的裝置還能額外使用 Adreno GPU 與 Hexagon NPU 加速。

地端推論開源 llama.cpp Nemotron-3(.5)-Embed 嵌入模型本地推理版本更新

llama.cpp releases10/21 22:17AI 評分42

llama.cpp b11802 修復 jinja 名稱空間屬性被字典方法遮蔽

llama.cpp 發布 b11802 版本，核心改動是修復 jinja 模板中名稱空間屬性被 dict 方法遮蔽的問題（#30941）。其餘為各平台預編譯建置的例行更新，覆蓋 macOS Apple Silicon、Intel、iOS、Linux（CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO）、Android、Windows 與 openEuler。

地端推論開源 llama.cpp 版本發布本地推理 Jinja 多平台建置

llama.cpp releases10/25 18:38AI 評分32

llama.cpp 發布 b11887，調整上下文測試預設執行緒數

llama.cpp 發布 b11887，主要變更是調整 test-llama-context 的預設執行緒數（PR #31157）。同版本仍按慣例給出各平台預編譯產物：macOS Apple Silicon（arm64）、macOS Intel、Linux（CUDA 12、CUDA 13、ROCm 10.0、Vulkan、SYCL、OpenVINO）、Windows x64 與 arm64、Android arm64，以及 openEuler 昇騰 910b 的 ACL Gra…

地端推論開源 llama.cpp 版本更新本地推理多平台建置測試

llama.cpp releases10/8 13:32AI 評分35

llama.cpp b11503：cpp-httplib 升級至 0.60.1，新增 CUDA 13 建置

llama.cpp 建置版本 b11503 將內建的 cpp-httplib 更新到 0.60.1（#30134），其餘為各平台預編譯包的發布清單。該版本新增 CUDA 13 建置（使用 CUDA 13.4 庫），並保留 CUDA 12、ROCm 10.0、Vulkan、SYCL、OpenVINO 等 Linux 與 Windows 目標，Windows arm64 另有 CUDA 13 和 OpenCL Adreno 版本。

地端推論開源 llama.cpp cpp-httplib 版本更新本地推理多平台建置

llama.cpp releases10/8 04:38AI 評分45

llama.cpp b11489 加速 Hexagon NPU 的 Q6_K 權重反量化

llama.cpp 發布 b11489，為 Hexagon NPU 的 Q6_K 權重反量化帶來加速，做法是再增加 2 倍迴圈展開，改動由 OpenCode 協助完成。該版本繼續提供 macOS/iOS、Linux、Android、Windows 多平台預編譯包，Snapdragon 版本可分別使用 CPU、Adreno GPU 與 Hexagon NPU，Windows arm64 另有 OpenCL Adreno 建置；

地端推論開源 llama.cpp Hexagon NPU Q6_K 效能最佳化版本發布

llama.cpp releases10/3 06:27AI 評分42

llama.cpp 發布 b11370，CUDA 後端融合共享專家至 MMVQ

llama.cpp 發布版本 b11370，主要變更是 CUDA 後端將共享專家（shared experts）融合進 MMVQ 運算元，並檢查緩衝區是否為空、把 stride_col_dst 移入融合引數。該版本同時提供 macOS、Linux、Windows、Android 等多平台建置，其中 macOS Apple Silicon 的 KleidiAI 版本被停用，openEuler 建置也被停用。

地端推論開源 llama.cpp CUDA MMVQ MoE 推理最佳化

2 個來源 · 2 則報導閱讀原文

llama.cpp releases10/16 10:06AI 評分43

llama.cpp b11688 合併 AVX2 分塊累加器並更新全平台建置

llama.cpp 合併 PR #30296，把 CPU 上的 AVX2 分塊累加器（tiled accumulators）歸併處理，用於最佳化 x86 CPU 推理，改動由 Codex 協助完成。同版本 b11688 放出多平台預編譯建置，覆蓋 macOS Apple Silicon 與 Intel、iOS、Linux、Windows、Android、openEuler，含 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 等後端。

地端推論開源 llama.cpp AVX2 CPU 推理最佳化預編譯建置 b11688

llama.cpp releases10/21 17:55AI 評分41

llama.cpp b11799 為 SYCL 後端加入 q8 快速反量化

llama.cpp 發布 b11799 建置，新增 SYCL 後端的 q8 快速反量化（#30775），可提升 Intel GPU 上量化模型的推理效率。該版本同時提供 macOS、Linux、Windows、Android 的多平台預編譯包，涵蓋 CUDA 12、CUDA 13、ROCm 10.0、Vulkan、OpenVINO 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 版本；SYCL 建置則分為 FP32 與 FP16 兩版。

地端推論開源 llama.cpp SYCL q8 量化反量化版本更新

llama.cpp releases10/20 00:27AI 評分37

llama.cpp b11748 修復 SYCL 重排量化權重的 get_rows

llama.cpp 發布 b11748 建置，主要修復 SYCL 後端在重排後的量化權重上呼叫 get_rows 的問題（PR #30430）。該版本同時更新了多平台預編譯產物：macOS/iOS 的 XCFramework、Linux 與 Windows 的 CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL 建置，以及驍龍平台的 CPU、Adreno GPU 與 Hexagon NPU 支援。

地端推論開源 llama.cpp SYCL 量化權重版本更新

llama.cpp releases10/4 10:03AI 評分29

llama.cpp 發布 b11386，為路徑轉換準備 load_from_models_dir()

llama.cpp 發布 b11386 版本，提交內容是為路徑轉換準備 load_from_models_dir()，屬於 fs::path 現代化系列的一部分，並藉此機會移除了 fs_list()。該版本同步提供 macOS、Linux、Windows、Android 及 openEuler 等多平台建置產物，涵蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端。

地端推論開源 llama.cpp 版本更新 fs::path 跨平台建置

llama.cpp releases10/19 20:17AI 評分45

llama.cpp 為 OpenCL 新增 cooperative-k dp4a GEMM

llama.cpp 建置 b11741 在 OpenCL 後端為 q4_0、q4_k、q6_k 三種量化格式加入 cooperative-k dp4a GEMM，並修復對齊問題。這意味著在 OpenCL 上執行這些 4bit、6bit 量化模型的裝置可以用上新的矩陣乘實現。該版本同時更新了 macOS、Linux、Windows、Android 多平台建置，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、SYCL 等後端。

地端推論開源 llama.cpp OpenCL dp4a GEMM 量化

llama.cpp releases10/8 12:20AI 評分41

llama.cpp b11499 發布，CUDA 的 ROLL 運算支援非連續張量

llama.cpp 發布 b11499 建置，CUDA 後端改用位元組步長實現 roll，使 ROLL 運算可以作用於非連續張量（#29547）。該版本照例提供各平台預編譯產物：macOS Apple Silicon 與 Intel、iOS XCFramework，以及 Linux、Windows、Android 的 CPU、Vulkan、CUDA 12/CUDA 13、ROCm 10.0、OpenVINO、SYCL 建置，其中 CUDA 12 與 13 分別打包 12.8、1…

地端推論開源 llama.cpp CUDA b11499 本地推理多平台建置

llama.cpp releases10/21 11:42AI 評分40

llama.cpp b11792 將 d2t 改到 set_rows 以留在 GPU

llama.cpp 建置 b11792 將 d2t 放到其 set_rows 使用處，使其運算能留在 GPU 上，而不是回退到 CPU。該版本同時發布多平台預編譯包，覆蓋 macOS/iOS、Linux（含 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL）、Android 與 Windows。需要注意的是，macOS Apple Silicon 的 KleidiAI 版本以及 openEuler 部分目標在本次建置中處於停用狀態。

地端推論開源 llama.cpp GPU 解除安裝本地推理建置版本 CUDA

llama.cpp releases10/6 16:07AI 評分41

llama.cpp 修復 Vulkan 後端在 1.0 loader 上的空指標呼叫

llama.cpp 合併 PR #29872，在 Vulkan 後端初始化時檢查 vkEnumerateInstanceVersion 是否為空指標。Vulkan 1.0 的 loader（例如 Android 8.1）不提供該函式，此前會讓後端初始化直接呼叫空指標，現在這類 loader 被與所有低於 1.2 的 loader 同樣處理。該補丁修復 issue #29871，並隨本次建置的 macOS、Linux、Windows、Android 等多平台產物一同發布。

地端推論開源 llama.cpp Vulkan Android 8.1 空指標崩潰版本更新

llama.cpp releases10/22 11:27AI 評分43

llama.cpp 的 server 讓 RERANK 端點支援多模態輸入

llama.cpp 建置 b11818 讓 server 的 RERANK 端點支援帶型別的 content 輸入，可直接傳入多模態內容。當模型沒有 rerank chat template 時，服務端會明確拒絕多模態輸入，而不是像此前那樣靜默丟棄圖片；媒體下載或 base64 解碼失敗、top_n 為負數也改為返回 400 而不是 500。README 同時補充說明：TEI 的輸入格式與 Jina 保持一致。

地端推論開源 llama.cpp RERANK typed content input 版本發布多平台建置

llama.cpp releases10/9 15:18AI 評分46

llama.cpp 修復 ggml_acc 負偏移導致的越界寫

llama.cpp 建置 b11529 修復了 ggml 中 ggml_acc 的越界寫漏洞：ggml_acc_impl 將 size_t 偏移量收窄為 int32_t 時未做檢查，超大偏移會截斷成負數，再被符號擴充套件為巨大 size_t 導致邊界斷言失效，可在 dst 緩衝區下方越界寫入。修復方式是在收窄前檢查偏移量，與 ggml_set_impl 中已有檢查保持一致。該版本同時提供 macOS、Linux、Windows、Android 等多平台預編譯包。

地端推論開源 llama.cpp ggml 記憶體安全越界寫入版本發布