搜尋

依意思最接近的 30 筆

llama.cpp releases10/4 08:06AI 評分20

llama.cpp 發布 b11384 版本，覆蓋多平台預編譯包

llama.cpp 發布 b11384 版本，官網為 llama.app，並附 GitHub 建置證明。該版本提供 macOS、iOS、Linux、Android、Windows 及 openEuler 的預編譯包，涵蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。

地端推論開源 llama.cpp 版本發布跨平台建置 CUDA Vulkan

X @ggerganov10/7 18:57AI 評分45

llama.cpp 登上 Windows 活動舞臺，作者期待本地 AI 普及

llama.cpp 作者 Georgi Gerganov（@ggerganov）稱，llama.cpp 出現在了 10 月 7 日 Windows 活動的主舞臺上。他表示軟體與硬體棧終於走到一起，社群過去多年的努力得到體現，並期待更多使用者擁抱本地 AI。推文未說明該活動的具體內容，也未提及 llama.cpp 在其中的展示形式。

地端推論開源 llama.cpp 本地推理 Windows Microsoft

llama.cpp releases● 精選10/5 16:58AI 評分82

llama.cpp v0.6.0 發布：新增擴充套件 batch API 與 GLM-5.3-Flash 支援

llama.cpp 發布 v0.6.0，新增 llama_batch_ext 擴充套件 batch API，支援混合 token/embedding 輸入與 MTP、deepstack 狀態嵌入。本次加入 320B 的 GLM-5.3-Flash（GLM5-Next）文字+視覺混合模型、Clef 決策模型，以及 Qwen4Exp 的 MTP 投機解碼，官方稱在 DGX Spark 上解碼約快 1.5 倍。

模型開發工具 llama.cpp GLM-5.3-Flash MTP 投機解碼 Metal 多模態

2 個來源 · 4 則報導閱讀原文

llama.cpp releases● 精選10/5 16:57AI 評分62

llama.cpp 版本號升至 0.6.0，多平台建置產物同步更新

llama.cpp 將版本號提升到 0.6.0（PR #29997），並更新了 scripts 的 summary prompt。隨版本給出的建置產物覆蓋 macOS（Apple Silicon arm64、Intel x64）、iOS XCFramework、Linux（Ubuntu x64/arm64/s390x，含 CUDA 12、CUDA 13、ROCm 10.0、Vulkan、OpenVINO、SYCL）、Android arm64、Windows（x64/arm6…

地端推論開源 llama.cpp 0.6.0 本地推理版本發布

llama.cpp releases10/4 14:43AI 評分30

llama.cpp 發布 b11392 建置，CI 預設權限調整

llama.cpp 發布 b11392 版本，主要變更是 CI 設定預設權限（#29945）。該版本提供覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的預編譯產物，包括 Apple Silicon arm64、CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 等後端；

地端推論開源 llama.cpp 版本更新本地推理跨平台建置

llama.cpp releases10/4 22:56AI 評分35

llama.cpp 發布 b11399，重構 CUDA swizzling 程式碼

llama.cpp 發布 b11399 版本，主要變更是重構 CUDA swizzling 程式碼並修復模板與迴圈邊界。該版本繼續提供 macOS、Linux、Windows、Android 等多平台預編譯包，其中 macOS Apple Silicon 的 KleidiAI 版本被標記為 DISABLED，openEuler 建置同樣被停用。

地端推論開源 llama.cpp CUDA swizzling 跨平台建置推理

X @ggerganov10/7 17:52AI 評分62

llama.cpp 借 ggml RPC 後端實現異構裝置分散式推理

llama.cpp 現在可以通過 ggml RPC 後端，把推理任務分散到異構裝置上共同完成，即同一次推理可由不同型別的硬體一起承擔。llama.cpp 作者 Georgi Gerganov 說明，這一能力目前仍是進階設定，但會隨時間逐步降低使用門檻，讓普通使用者也能用上。原文未給出支援的具體硬體組合、效能表現或可用版本。

地端推論開源 llama.cpp ggml RPC 異構裝置分散式推理

2 個來源 · 2 則報導閱讀原文

llama.cpp releases10/7 11:31AI 評分37

llama.cpp 發布 b11465，覆蓋 CUDA 13 與 ROCm 10.0 等平台

llama.cpp 發布建置版本 b11465，本次改動是「測試：在測試遞迴回滾時保留 anchor」（#29923）。該版本提供的預編譯產物覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler，其中 Windows 與 Linux 的 x64/arm64 均包含 CUDA 12、CUDA 13（CUDA 13.4 庫）、Vulkan、ROCm 10.0、OpenVINO、SYCL 等後端。

地端推論開源 llama.cpp 版本更新本地推理建置發布

X @ggerganov● 精選10/6 13:27AI 評分75

llama.cpp v0.6.0 支援 DFlash，Qwen3.8-27B 推理提速

llama.cpp 作者 Georgi Gerganov 建議使用 Qwen3.8-27B + MTP 的使用者升級到 DFlash，以獲得額外速度提升。啟用方式是在最新 llama.cpp v0.6.0 上執行 llama serve -hf ggml-org/Qwen3.8-27B-GGUF，並加上 --spec-type draft-dflash 與 --spec-draft-n-max 7 兩個引數。該提示未給出具體提速幅度，只強調必須使用最新版本。

地端推論開源 llama.cpp Qwen DFlash 推測解碼 MTP

2 個來源 · 4 則報導閱讀原文

llama.cpp releases10/5 04:35AI 評分37

llama.cpp 發布 b11402，CUDA 後端改用整塊 FlashAttention 排程

llama.cpp 發布 b11402 版本，CUDA 後端改為優先採用整塊（whole-tile）FlashAttention 排程，以提升兩階段核心效率。

地端推論開源 llama.cpp CUDA FlashAttention 版本更新本地推理

llama.cpp releases10/12 14:00AI 評分42

llama.cpp 新增 pplx-decider 模型支援

llama.cpp 發布 b11571 建置，新增對 pplx-decider（vLLM decision 2）模型的支援，並加入更嚴格的模型校驗、明確命名規則等改動。該版本同步提供 macOS、Linux、Windows、Android 各平台預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 以及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。

地端推論開源 llama.cpp 版本更新本地推理 vLLM 跨平台建置

1 個來源 · 3 則報導閱讀原文

llama.cpp releases10/9 16:41AI 評分32

llama.cpp b11531 重構 chat API，同步更新多平台建置

llama.cpp 發布 b11531，主要變更是重構 chat API（#30210）。同步重新整理的預編譯產物覆蓋 macOS Apple Silicon、Ubuntu、Windows、Android 與 openEuler，包含 CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO，以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU 版本。

地端推論開源 llama.cpp 版本發布本地推理 API 重構 b11531

llama.cpp releases10/4 14:12AI 評分16

llama.cpp 發布 b11391 版本，CUDA 程式碼小幅調整

llama.cpp 發布 b11391 建置版本，唯一程式碼改動是將 CUDA 後端的 blocks_per_col 變數移到實際使用位置（PR #29939），由 Hugging Face 的 Adrien Gallouët 提交。

地端推論開源 llama.cpp CUDA 版本發布跨平台建置

llama.cpp releases10/3 21:09AI 評分27

llama.cpp 發布新版本，將 cpp-httplib 升級至 0.59.0

llama.cpp 發布更新，將依賴庫 cpp-httplib 升級到 0.59.0，對應 PR #29886。該版本繼續提供覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的預編譯建置，包括 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 以及 Snapdragon 的 CPU、Adreno GPU 和 Hexagon NPU 等後端。

地端推論開源 llama.cpp cpp-httplib 版本更新本地推理跨平台建置

llama.cpp releases10/12 14:27AI 評分45

llama.cpp b11572 新增 vLLM d3 模型支援

llama.cpp 發布 b11572，新增對 vLLM d3 模型的支援（d2 同步更新），並加入 pplx-decider 模型支援，同時澄清命名規則、加強校驗。該版本照例提供 macOS/iOS、Linux、Windows、Android、openEuler 的預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及驍龍 CPU/Adreno GPU/Hexagon NPU 等後端。

地端推論開源 llama.cpp 版本更新本地推理 CUDA Vulkan

1 個來源 · 3 則報導閱讀原文

llama.cpp releases10/7 12:28AI 評分35

llama.cpp 發布 b11468，cpp-httplib 升級至 0.60.0

llama.cpp 發布新建置 b11468，主要變更是將 cpp-httplib 升級到 0.60.0（#30081）。該版本同時提供 macOS/iOS、Linux、Windows、Android 與 openEuler 的預編譯產物，後端覆蓋 Apple Silicon arm64、CUDA 12.8 與 CUDA 13.4、Vulkan、ROCm 10.0、OpenVINO、SYCL FP32/FP16，以及 Snapdragon 的 CPU、Adreno GPU 與…

開源地端推論 llama.cpp cpp-httplib 版本更新本地推理跨平台建置

llama.cpp releases10/11 13:13AI 評分43

llama.cpp b11555 修復 AVX2 CPU 未啟用 F16C 的問題

llama.cpp 發布 b11555，修復了在支援 F16C 的 AVX2 CPU 上未啟用 F16C 的問題，可改善 x86 平台的 CPU 推理表現。同步更新的預編譯包覆蓋 macOS Apple Silicon、Windows 與 Linux 的 CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO，以及 Android、openEuler 等平台；

開源地端推論 llama.cpp AVX2 F16C CPU 推理版本發布

r/LocalLLaMA top of the day10/2 18:47AI 評分65

llama.cpp 新 PR 將共享專家融合進 MMVQ，部分 MoE 架構提速

llama.cpp 的 PR #29184 提出在 CUDA 後端把共享專家融合進 MMVQ，為部分 MoE 架構帶來提速，例如 Qwen 35B A3B。有評論稱該改動使 TG 速度提升約 5%，並指出僅對部分 MoE 架構有效。

地端推論開源 llama.cpp CUDA MoE 推理加速 Qwen

2 個來源 · 2 則報導閱讀原文

llama.cpp releases10/3 01:06AI 評分40

llama.cpp 新增 nimble 決策模型支援

llama.cpp 發布 b11364 版本，新增對 nimble 決策模型的支援（PR #29844）。該版本覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 平台，提供 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL、Snapdragon 的 Adreno GPU 與 Hexagon NPU 等後端建置；

地端推論開源 llama.cpp 推理引擎跨平台建置本地推理

llama.cpp releases10/4 17:49AI 評分35

llama.cpp 發布 b11396 版本，Windows LLVM 建置需 Ninja 多配置

llama.cpp 發布 b11396 版本，主要變更是 Windows 平台的 LLVM 建置需要 Ninja 多配置（#29959）。該版本提供覆蓋 macOS、Linux、Windows、Android 和 openEuler 的預編譯產物，包括 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端，其中 macOS Apple Silicon 的 KleidiAI 啟用版和 openEuler 被標記為…

地端推論開源 llama.cpp 建置發布跨平台 CUDA Vulkan

llama.cpp releases10/2 23:57AI 評分25

llama.cpp 伺服器新增 /v1/systemone API，支援 laya、julia-1 等模型

llama.cpp 的 server 元件新增了 /v1/systemone API，支援 laya、julia-1、lev、openjev、kev 五個模型。該 PR 包含模型轉換、服務端程式碼、共享提示字首、視覺支援，並新增 openjev tiny 模型用於測試。建置覆蓋 macOS、Linux、Windows、Android 等平台，但明確不支援 date_facts。

開發工具地端推論 llama.cpp /v1/systemone 本地推理模型轉換開源

2 個來源 · 2 則報導閱讀原文

llama.cpp releases10/8 04:19AI 評分46

llama.cpp 新增 LiquidAI d1-omni-600M 決策模型

llama.cpp 建置 b11488 新增 LiquidAI/d1-omni-600M 決策模型支援，服務端可通過 images 與 input_audio 直接接收音訊輸入，模型與多模態輸入打通。同時決策型別 d1omni 更名為 lfm2-d1-omni，images 成為 files 的別名，無記憶的 lfm2 被限定為非因果模式，CUDA 後端保留 conformer 的 GLU sigmoid。四筆改動均標註由 Claude Opus 5.5 協助完成；

地端推論開源 llama.cpp LiquidAI d1-omni-600M 多模態本地推理

2 個來源 · 2 則報導閱讀原文

llama.cpp releases10/3 06:27AI 評分42

llama.cpp 發布 b11370，CUDA 後端融合共享專家至 MMVQ

llama.cpp 發布版本 b11370，主要變更是 CUDA 後端將共享專家（shared experts）融合進 MMVQ 運算元，並檢查緩衝區是否為空、把 stride_col_dst 移入融合引數。該版本同時提供 macOS、Linux、Windows、Android 等多平台建置，其中 macOS Apple Silicon 的 KleidiAI 版本被停用，openEuler 建置也被停用。

地端推論開源 llama.cpp CUDA MMVQ MoE 推理最佳化

2 個來源 · 2 則報導閱讀原文

llama.cpp releases10/7 06:53AI 評分42

llama.cpp 發布 b11461，修復 AMD 核顯 Vulkan 檢查點讀取慢

llama.cpp 發布 b11461，主要改動是修復 AMD 整合顯示卡在 Vulkan 後端下檢查點（checkpoint）讀取過慢的問題，對應 PR #30049。該版本同時更新了 macOS/iOS、Linux、Android、Windows、openEuler 的預編譯包，覆蓋 Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL，以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU 後端。

地端推論開源 llama.cpp Vulkan AMD iGPU 版本更新本地推理

X @ggerganov● 精選10/5 19:24AI 評分77

@ggerganov: The new v0.6.0 release packs a lot of good stuff:

llama.cpp 發布 v0.6.0，作者 ggerganov 列出了這一版的主要更新：新增 Clef 支援，涵蓋文字與視覺；對 Qwen3.8-Flash-Next 提供高品質支援；Metal 後端效能大幅提升；並引入新的 llama_batch_ext API。配套官網也完成改版，地址為 llama.app。原文未給出各項改動的具體效能數字。

地端推論開源 llama.cpp Metal Qwen 本地推理開源

2 個來源 · 4 則報導閱讀原文

llama.cpp releases10/4 19:50AI 評分23

llama.cpp 發布 b11397，CUDA 後端調整 neu_padded 位置

llama.cpp 發布建置版本 b11397，主要變更是將 CUDA 後端的 neu_padded 移動到實際使用位置（PR #29940），作者為 Hugging Face 的 Adrien Gallouët。該版本繼續提供 macOS、Linux、Windows、Android 等多平台預編譯包，覆蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端；

地端推論開源 llama.cpp CUDA 版本更新本地推理

X @ggerganov● 精選10/6 16:49AI 評分69

llama.cpp 首日支援 EmbeddingGemma 2

llama.cpp 已實現對 EmbeddingGemma 2 的 Day-0 支援，由作者 ggerganov 公布。對應 GGUF 權重由 ggml-org 發布在 Hugging Face，可直接下載用於本地推理。Day-0 意味著模型發布當天即可在 llama.cpp 上執行，無需等待社群自行轉換。

地端推論開源 llama.cpp EmbeddingGemma GGUF 嵌入模型 Day-0 支援

8 個來源 · 12 則報導閱讀原文

llama.cpp releases● 精選10/6 20:24AI 評分74

llama.cpp 合併 K2 Horizon 支援，修復 Windows GGUF 無法載入

llama.cpp 合併了 K2 Horizon 稠密模型與 MoVA 支援，包含 GGUF 轉換、計算圖、tokenizer、chat template，以及推理與工具呼叫。

模型地端推論 llama.cpp K2 Horizon GGUF MoVA 本地推理

llama.cpp releases10/10 03:30AI 評分43

llama.cpp b11540 發布：SYCL 加速 MXFP4 MoE 推理

llama.cpp 建置版本 b11540 發布，核心變更是 SYCL 後端通過算術解碼與權重重排加速 MXFP4 MoE 模型推理（PR #29809）。該版本同時提供 macOS、Linux、Windows、Android 與 openEuler 的預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16 等後端；

地端推論開源 SYCL MXFP4 MoE llama.cpp 版本發布

llama.cpp releases10/8 20:17AI 評分42

llama.cpp 發布 b11514 建置，修復 Musa FWHT 並停用 KleidiAI 版 macOS 包

llama.cpp 發布 b11514 滾動建置，主要修復 Musa 後端的 FWHT 問題（#30167）；同時 macOS Apple Silicon 的 KleidiAI 加速建置與 openEuler 建置被標記為 DISABLED。

地端推論開源 llama.cpp 本地推理 Musa FWHT 開源