搜尋

依意思最接近的 30 筆

llama.cpp releases10/4 08:06AI 評分20

llama.cpp 發布 b11384 版本，覆蓋多平台預編譯包

llama.cpp 發布 b11384 版本，官網為 llama.app，並附 GitHub 建置證明。該版本提供 macOS、iOS、Linux、Android、Windows 及 openEuler 的預編譯包，涵蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。

地端推論開源 llama.cpp 版本發布跨平台建置 CUDA Vulkan

X @ggerganov10/7 18:57AI 評分45

llama.cpp 登上 Windows 活動舞臺，作者期待本地 AI 普及

llama.cpp 作者 Georgi Gerganov（@ggerganov）稱，llama.cpp 出現在了 10 月 7 日 Windows 活動的主舞臺上。他表示軟體與硬體棧終於走到一起，社群過去多年的努力得到體現，並期待更多使用者擁抱本地 AI。推文未說明該活動的具體內容，也未提及 llama.cpp 在其中的展示形式。

地端推論開源 llama.cpp 本地推理 Windows Microsoft

llama.cpp releases● 精選10/5 16:58AI 評分82

llama.cpp v0.6.0 發布：新增擴充套件 batch API 與 GLM-5.3-Flash 支援

llama.cpp 發布 v0.6.0，新增 llama_batch_ext 擴充套件 batch API，支援混合 token/embedding 輸入與 MTP、deepstack 狀態嵌入。本次加入 320B 的 GLM-5.3-Flash（GLM5-Next）文字+視覺混合模型、Clef 決策模型，以及 Qwen4Exp 的 MTP 投機解碼，官方稱在 DGX Spark 上解碼約快 1.5 倍。

模型開發工具 llama.cpp GLM-5.3-Flash MTP 投機解碼 Metal 多模態

2 個來源 · 4 則報導閱讀原文

llama.cpp releases10/2 23:57AI 評分25

llama.cpp 伺服器新增 /v1/systemone API，支援 laya、julia-1 等模型

llama.cpp 的 server 元件新增了 /v1/systemone API，支援 laya、julia-1、lev、openjev、kev 五個模型。該 PR 包含模型轉換、服務端程式碼、共享提示字首、視覺支援，並新增 openjev tiny 模型用於測試。建置覆蓋 macOS、Linux、Windows、Android 等平台，但明確不支援 date_facts。

開發工具地端推論 llama.cpp /v1/systemone 本地推理模型轉換開源

2 個來源 · 2 則報導閱讀原文

llama.cpp releases10/12 14:27AI 評分45

llama.cpp b11572 新增 vLLM d3 模型支援

llama.cpp 發布 b11572，新增對 vLLM d3 模型的支援（d2 同步更新），並加入 pplx-decider 模型支援，同時澄清命名規則、加強校驗。該版本照例提供 macOS/iOS、Linux、Windows、Android、openEuler 的預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及驍龍 CPU/Adreno GPU/Hexagon NPU 等後端。

地端推論開源 llama.cpp 版本更新本地推理 CUDA Vulkan

1 個來源 · 3 則報導閱讀原文

llama.cpp releases10/3 01:06AI 評分40

llama.cpp 新增 nimble 決策模型支援

llama.cpp 發布 b11364 版本，新增對 nimble 決策模型的支援（PR #29844）。該版本覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 平台，提供 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL、Snapdragon 的 Adreno GPU 與 Hexagon NPU 等後端建置；

地端推論開源 llama.cpp 推理引擎跨平台建置本地推理

llama.cpp releases10/8 04:19AI 評分46

llama.cpp 新增 LiquidAI d1-omni-600M 決策模型

llama.cpp 建置 b11488 新增 LiquidAI/d1-omni-600M 決策模型支援，服務端可通過 images 與 input_audio 直接接收音訊輸入，模型與多模態輸入打通。同時決策型別 d1omni 更名為 lfm2-d1-omni，images 成為 files 的別名，無記憶的 lfm2 被限定為非因果模式，CUDA 後端保留 conformer 的 GLU sigmoid。四筆改動均標註由 Claude Opus 5.5 協助完成；

地端推論開源 llama.cpp LiquidAI d1-omni-600M 多模態本地推理

2 個來源 · 2 則報導閱讀原文

llama.cpp releases10/7 13:02AI 評分37

llama.cpp b11471 為詞表加入 Plamo FIM tokens

llama.cpp 發布 b11471 建置，主要變更是向詞表加入 Plamo 的 FIM（fill-in-the-middle）tokens，服務程式碼補全場景。該版本發布包覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler，後端包含 CPU、Vulkan、CUDA 12.8/13.4、ROCm 10.0、OpenVINO、SYCL，以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU。

地端推論開源 llama.cpp 本地推理 PLaMo FIM 版本更新

llama.cpp releases10/4 22:56AI 評分35

llama.cpp 發布 b11399，重構 CUDA swizzling 程式碼

llama.cpp 發布 b11399 版本，主要變更是重構 CUDA swizzling 程式碼並修復模板與迴圈邊界。該版本繼續提供 macOS、Linux、Windows、Android 等多平台預編譯包，其中 macOS Apple Silicon 的 KleidiAI 版本被標記為 DISABLED，openEuler 建置同樣被停用。

地端推論開源 llama.cpp CUDA swizzling 跨平台建置推理

X @ggerganov● 精選10/6 16:49AI 評分69

llama.cpp 首日支援 EmbeddingGemma 2

llama.cpp 已實現對 EmbeddingGemma 2 的 Day-0 支援，由作者 ggerganov 公布。對應 GGUF 權重由 ggml-org 發布在 Hugging Face，可直接下載用於本地推理。Day-0 意味著模型發布當天即可在 llama.cpp 上執行，無需等待社群自行轉換。

地端推論開源 llama.cpp EmbeddingGemma GGUF 嵌入模型 Day-0 支援

8 個來源 · 12 則報導閱讀原文

llama.cpp releases10/9 16:41AI 評分32

llama.cpp b11531 重構 chat API，同步更新多平台建置

llama.cpp 發布 b11531，主要變更是重構 chat API（#30210）。同步重新整理的預編譯產物覆蓋 macOS Apple Silicon、Ubuntu、Windows、Android 與 openEuler，包含 CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO，以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU 版本。

地端推論開源 llama.cpp 版本發布本地推理 API 重構 b11531

llama.cpp releases10/13 22:39AI 評分40

llama.cpp 發布 b11606，簡化後端搜尋路徑錯誤處理

llama.cpp 發布版本 b11606，主要改動是簡化 ggml 後端搜尋路徑的錯誤處理，由 Adrien Gallouët 提交。該版本同步提供 macOS、Linux、Windows、Android 及 openEuler 等多平台建置，涵蓋 Apple Silicon、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL 等後端；

地端推論開源 llama.cpp ggml 後端搜尋路徑錯誤處理本地推理

X @ggerganov● 精選10/5 19:24AI 評分77

@ggerganov: The new v0.6.0 release packs a lot of good stuff:

llama.cpp 發布 v0.6.0，作者 ggerganov 列出了這一版的主要更新：新增 Clef 支援，涵蓋文字與視覺；對 Qwen3.8-Flash-Next 提供高品質支援；Metal 後端效能大幅提升；並引入新的 llama_batch_ext API。配套官網也完成改版，地址為 llama.app。原文未給出各項改動的具體效能數字。

地端推論開源 llama.cpp Metal Qwen 本地推理開源

2 個來源 · 4 則報導閱讀原文

llama.cpp releases10/13 20:40AI 評分31

llama.cpp b11598 為 laguna 模型載入 YaRN beta 後設資料

llama.cpp 發布 b11598 建置，主要變更是為 laguna 系列模型載入 YaRN beta 後設資料（#30331），該提交由 Codex 協助完成。

地端推論開源 llama.cpp YaRN laguna 本地推理版本發布

llama.cpp releases10/11 13:13AI 評分43

llama.cpp b11555 修復 AVX2 CPU 未啟用 F16C 的問題

llama.cpp 發布 b11555，修復了在支援 F16C 的 AVX2 CPU 上未啟用 F16C 的問題，可改善 x86 平台的 CPU 推理表現。同步更新的預編譯包覆蓋 macOS Apple Silicon、Windows 與 Linux 的 CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO，以及 Android、openEuler 等平台；

開源地端推論 llama.cpp AVX2 F16C CPU 推理版本發布

llama.cpp releases10/4 14:43AI 評分30

llama.cpp 發布 b11392 建置，CI 預設權限調整

llama.cpp 發布 b11392 版本，主要變更是 CI 設定預設權限（#29945）。該版本提供覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的預編譯產物，包括 Apple Silicon arm64、CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 等後端；

地端推論開源 llama.cpp 版本更新本地推理跨平台建置

llama.cpp releases10/7 12:48AI 評分40

llama.cpp b11469 發布，MUSA 後端改用 tile lightning indexer kernel

llama.cpp 發布 b11469 建置，其中 MUSA 後端改為使用 tile lightning indexer kernel（PR #30080），提交者為摩爾線程（mthreads.com）的 Xiaodong Ye。MUSA 是摩爾線程 GPU 的計算平台，這一改動面向在該平台上執行 llama.cpp 的使用者。

地端推論開源 llama.cpp MUSA 摩爾線程本地推理版本發布

llama.cpp releases10/12 14:00AI 評分42

llama.cpp 新增 pplx-decider 模型支援

llama.cpp 發布 b11571 建置，新增對 pplx-decider（vLLM decision 2）模型的支援，並加入更嚴格的模型校驗、明確命名規則等改動。該版本同步提供 macOS、Linux、Windows、Android 各平台預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 以及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。

地端推論開源 llama.cpp 版本更新本地推理 vLLM 跨平台建置

1 個來源 · 3 則報導閱讀原文

llama.cpp releases10/6 10:05AI 評分33

llama.cpp 發布 b11438，動態後端需顯式載入

llama.cpp 發布 b11438，主要變更是 test-llama-archs 在生成模型前先初始化後端（#30034）：開啟 GGML_BACKEND_DL 時，必須先顯式載入後端才能建立模型。

地端推論開源 llama.cpp 本地推理 GGML 跨平台建置版本發布

llama.cpp releases10/8 20:17AI 評分42

llama.cpp 發布 b11514 建置，修復 Musa FWHT 並停用 KleidiAI 版 macOS 包

llama.cpp 發布 b11514 滾動建置，主要修復 Musa 後端的 FWHT 問題（#30167）；同時 macOS Apple Silicon 的 KleidiAI 加速建置與 openEuler 建置被標記為 DISABLED。

地端推論開源 llama.cpp 本地推理 Musa FWHT 開源

llama.cpp releases10/4 17:49AI 評分35

llama.cpp 發布 b11396 版本，Windows LLVM 建置需 Ninja 多配置

llama.cpp 發布 b11396 版本，主要變更是 Windows 平台的 LLVM 建置需要 Ninja 多配置（#29959）。該版本提供覆蓋 macOS、Linux、Windows、Android 和 openEuler 的預編譯產物，包括 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端，其中 macOS Apple Silicon 的 KleidiAI 啟用版和 openEuler 被標記為…

地端推論開源 llama.cpp 建置發布跨平台 CUDA Vulkan

llama.cpp releases10/4 19:50AI 評分23

llama.cpp 發布 b11397，CUDA 後端調整 neu_padded 位置

llama.cpp 發布建置版本 b11397，主要變更是將 CUDA 後端的 neu_padded 移動到實際使用位置（PR #29940），作者為 Hugging Face 的 Adrien Gallouët。該版本繼續提供 macOS、Linux、Windows、Android 等多平台預編譯包，覆蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端；

地端推論開源 llama.cpp CUDA 版本更新本地推理

llama.cpp releases10/9 22:41AI 評分37

llama.cpp b11539 應用上游深層巢狀 JSON 補丁

llama.cpp 發布 b11539 建置，唯一程式碼改動是應用來自上游的深層巢狀 JSON 補丁（#30253）。各平台預編譯包照常提供，覆蓋 macOS/iOS、Ubuntu（CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL）、Android、Windows 以及 openEuler。其中 macOS Apple Silicon 的 KleidiAI 啟用版和 openEuler 建置本次被標記為 DISABLED。

地端推論開源 llama.cpp 版本更新本地推理建置產物

llama.cpp releases10/8 13:00AI 評分37

llama.cpp b11501：SYCL 後端 FWHT 最佳化，macOS KleidiAI 建置停用

llama.cpp 發布 b11501 建置，主要變更是 SYCL 後端的 FWHT 最佳化（PR #29605）。該版本繼續提供 macOS/iOS、Linux、Windows、Android 與 openEuler 的預編譯包，覆蓋 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL FP32/FP16，以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU。

地端推論開源 llama.cpp SYCL FWHT 版本更新本地推理

llama.cpp releases● 精選10/5 16:57AI 評分62

llama.cpp 版本號升至 0.6.0，多平台建置產物同步更新

llama.cpp 將版本號提升到 0.6.0（PR #29997），並更新了 scripts 的 summary prompt。隨版本給出的建置產物覆蓋 macOS（Apple Silicon arm64、Intel x64）、iOS XCFramework、Linux（Ubuntu x64/arm64/s390x，含 CUDA 12、CUDA 13、ROCm 10.0、Vulkan、OpenVINO、SYCL）、Android arm64、Windows（x64/arm6…

地端推論開源 llama.cpp 0.6.0 本地推理版本發布

llama.cpp releases10/10 03:30AI 評分43

llama.cpp b11540 發布：SYCL 加速 MXFP4 MoE 推理

llama.cpp 建置版本 b11540 發布，核心變更是 SYCL 後端通過算術解碼與權重重排加速 MXFP4 MoE 模型推理（PR #29809）。該版本同時提供 macOS、Linux、Windows、Android 與 openEuler 的預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL FP32/FP16 等後端；

地端推論開源 SYCL MXFP4 MoE llama.cpp 版本發布

llama.cpp releases10/4 12:34AI 評分36

llama.cpp 修復 Vulkan 後端 RDNA4 矩陣向量調優

llama.cpp 發布 b11389 版本，修復了 Vulkan 後端在 RDNA4 架構上的矩陣向量運算調優問題（PR #29934）。該版本繼續提供覆蓋 macOS、Linux、Windows、Android 等平台的預編譯二進位制，包括 Vulkan、CUDA、ROCm、SYCL 等後端，其中 macOS Apple Silicon 的 KleidiAI 啟用版和 openEuler 建置被停用。

地端推論開源 llama.cpp Vulkan RDNA4 版本更新

llama.cpp releases10/9 18:52AI 評分40

llama.cpp b11535 發布，llama-bench 現遵循 -fitc

llama.cpp 發布每日建置 b11535，主要變更是 llama-bench 現在會遵循 -fitc 引數，即使該值大於基準測試所需尺寸也按使用者設定執行（PR #28331）。

地端推論開源 llama.cpp llama-bench 版本發布本地推理 Qwen

llama.cpp releases● 精選10/6 20:24AI 評分74

llama.cpp 合併 K2 Horizon 支援，修復 Windows GGUF 無法載入

llama.cpp 合併了 K2 Horizon 稠密模型與 MoVA 支援，包含 GGUF 轉換、計算圖、tokenizer、chat template，以及推理與工具呼叫。

模型地端推論 llama.cpp K2 Horizon GGUF MoVA 本地推理

llama.cpp releases10/7 06:53AI 評分42

llama.cpp 發布 b11461，修復 AMD 核顯 Vulkan 檢查點讀取慢

llama.cpp 發布 b11461，主要改動是修復 AMD 整合顯示卡在 Vulkan 後端下檢查點（checkpoint）讀取過慢的問題，對應 PR #30049。該版本同時更新了 macOS/iOS、Linux、Android、Windows、openEuler 的預編譯包，覆蓋 Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL，以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon NPU 後端。

地端推論開源 llama.cpp Vulkan AMD iGPU 版本更新本地推理