llama.cpp releases● 精選AI 評分71
llama.cpp 伺服器新增實驗性 --connect 遠端訪問
llama.cpp 的 server 新增實驗性 --connect 引數，經 llama-connect 隧道讓區域網外的裝置也能 P2P 訪問本地推理服務。未啟用隧道時不再在 /props 暴露 connect code，避免 Web UI 顯示實際無人服務的遠端訪問碼；--connect 只在繫結 TCP 埠時可用，僅綁 unix socket 會被拒絕。
搜尋
依意思最接近的 30 筆
llama.cpp releasesAI 評分20
llama.cpp 發布 b11384 版本，覆蓋多平台預編譯包
llama.cpp 發布 b11384 版本，官網為 llama.app，並附 GitHub 建置證明。該版本提供 macOS、iOS、Linux、Android、Windows 及 openEuler 的預編譯包，涵蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。
X @ggerganovAI 評分45
llama.cpp 登上 Windows 活動舞臺，作者期待本地 AI 普及
llama.cpp 作者 Georgi Gerganov（@ggerganov）稱，llama.cpp 出現在了 10 月 7 日 Windows 活動的主舞臺上。他表示軟體與硬體棧終於走到一起，社群過去多年的努力得到體現，並期待更多使用者擁抱本地 AI。推文未說明該活動的具體內容，也未提及 llama.cpp 在其中的展示形式。
llama.cpp releases● 精選AI 評分82
llama.cpp v0.6.0 發布：新增擴充套件 batch API 與 GLM-5.3-Flash 支援
llama.cpp 發布 v0.6.0，新增 llama_batch_ext 擴充套件 batch API，支援混合 token/embedding 輸入與 MTP、deepstack 狀態嵌入。本次加入 320B 的 GLM-5.3-Flash（GLM5-Next）文字+視覺混合模型、Clef 決策模型，以及 Qwen4Exp 的 MTP 投機解碼，官方稱在 DGX Spark 上解碼約快 1.5 倍。
llama.cpp releasesAI 評分40
llama.cpp 新增 nimble 決策模型支援
llama.cpp 發布 b11364 版本，新增對 nimble 決策模型的支援（PR #29844）。該版本覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 平台，提供 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL、Snapdragon 的 Adreno GPU 與 Hexagon NPU 等後端建置；
llama.cpp releasesAI 評分25
llama.cpp 伺服器新增 /v1/systemone API，支援 laya、julia-1 等模型
llama.cpp 的 server 元件新增了 /v1/systemone API，支援 laya、julia-1、lev、openjev、kev 五個模型。該 PR 包含模型轉換、服務端程式碼、共享提示字首、視覺支援，並新增 openjev tiny 模型用於測試。建置覆蓋 macOS、Linux、Windows、Android 等平台，但明確不支援 date_facts。
llama.cpp releasesAI 評分44
llama.cpp 新增 IBM Granite Switch 決策模型支援
llama.cpp 發布 b11700，新增對 IBM Granite Switch 決策模型的轉換與推理支援，改動覆蓋 convert、common 與 server，模板參考 granite-switch-4.1-8b。開發中曾加入 decision.chat 讓決策模型兼作聊天，隨後被回退，最終確定為只要 Granite Switch 支援決策就始終支援文字，server README 也同步更新。
llama.cpp releasesAI 評分40
llama.cpp 發布 b11662 建置，含 ROCm 10.0 與 CUDA 13 版本
llama.cpp 發布 b11662 版本（同步 ggml），預編譯建置提供 ROCm 10.0、CUDA 13（13.4 庫）以及驍龍平台的 CPU、Adreno GPU 與 Hexagon NPU 版本。
X @ggerganov● 精選AI 評分69
llama.cpp 首日支援 EmbeddingGemma 2
llama.cpp 已實現對 EmbeddingGemma 2 的 Day-0 支援，由作者 ggerganov 公布。對應 GGUF 權重由 ggml-org 發布在 Hugging Face，可直接下載用於本地推理。Day-0 意味著模型發布當天即可在 llama.cpp 上執行，無需等待社群自行轉換。
llama.cpp releasesAI 評分40
llama.cpp 發布 0.7.0，預編譯包更新 CUDA 13 與 ROCm 10.0
llama.cpp 版本號升至 0.7.0，建置號為 b11669。此次發布的預編譯包覆蓋 macOS（Apple Silicon 與 Intel）、Linux、Windows、Android、iOS 及 openEuler，其中新增 CUDA 13（基於 13.4 庫）與 ROCm 10.0 後端，並保留 Vulkan、SYCL、OpenVINO 等選項。
X @ggerganov● 精選AI 評分80
llama.cpp 新增 Decision 模型支援
llama.cpp 最新建置已加入 Decision 模型支援，新增 /v1/systemone 端點，可在本地進行 Jev 風格推理，兼顧效率與隱私。目前支援多個開源模型，官方表示後續還會增加更多模型。
llama.cpp releasesAI 評分32
llama.cpp b11531 重構 chat API，同步更新多平台建置
llama.cpp 發布 b11531，主要變更是重構 chat API（#30210）。同步重新整理的預編譯產物覆蓋 macOS Apple Silicon、Ubuntu、Windows、Android 與 openEuler，包含 CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO，以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU 版本。
llama.cpp releasesAI 評分46
llama.cpp 新增 LiquidAI d1-omni-600M 決策模型
llama.cpp 建置 b11488 新增 LiquidAI/d1-omni-600M 決策模型支援，服務端可通過 images 與 input_audio 直接接收音訊輸入，模型與多模態輸入打通。同時決策型別 d1omni 更名為 lfm2-d1-omni，images 成為 files 的別名，無記憶的 lfm2 被限定為非因果模式，CUDA 後端保留 conformer 的 GLU sigmoid。四筆改動均標註由 Claude Opus 5.5 協助完成；
llama.cpp releases● 精選AI 評分78
llama.cpp UI 新增 Discover，可瀏覽下載 HuggingFace GGUF 並斷點續傳
llama.cpp 的圖形介面新增 Discover Models 檢視，可直接在應用內瀏覽並下載 HuggingFace 上的 GGUF 模型，由 Enable Discover Models 開關控制。下載支援暫停與續傳：暫停後保留已下載的分片檔案，重啟或重新開啟後仍能接著磁碟上的進度繼續。下載項按倉庫聚類，主權重會順帶拉取匹配的 draft sidecar（DFlash 優先於 MTP）以啟用投機解碼，決策模型等無法執行的模型已從目錄與搜尋中過濾。
llama.cpp releases● 精選AI 評分60
llama.cpp 新增 maion-coder 架構支援
llama.cpp 發布 b11658 建置，新增對 maion-coder 模型架構的支援，並加入對 Draft 模型的推理支援，提交者包括微軟的 Karthik Vijayan。
llama.cpp releasesAI 評分37
llama.cpp b11471 為詞表加入 Plamo FIM tokens
llama.cpp 發布 b11471 建置，主要變更是向詞表加入 Plamo 的 FIM（fill-in-the-middle）tokens，服務程式碼補全場景。該版本發布包覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler，後端包含 CPU、Vulkan、CUDA 12.8/13.4、ROCm 10.0、OpenVINO、SYCL，以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU。
llama.cpp releasesAI 評分35
llama.cpp 發布 b11399，重構 CUDA swizzling 程式碼
llama.cpp 發布 b11399 版本，主要變更是重構 CUDA swizzling 程式碼並修復模板與迴圈邊界。該版本繼續提供 macOS、Linux、Windows、Android 等多平台預編譯包，其中 macOS Apple Silicon 的 KleidiAI 版本被標記為 DISABLED，openEuler 建置同樣被停用。
llama.cpp releasesAI 評分42
llama.cpp 發布 b11514 建置，修復 Musa FWHT 並停用 KleidiAI 版 macOS 包
llama.cpp 發布 b11514 滾動建置，主要修復 Musa 後端的 FWHT 問題（#30167）；同時 macOS Apple Silicon 的 KleidiAI 加速建置與 openEuler 建置被標記為 DISABLED。
llama.cpp releases● 精選AI 評分74
llama.cpp 合併 K2 Horizon 支援，修復 Windows GGUF 無法載入
llama.cpp 合併了 K2 Horizon 稠密模型與 MoVA 支援，包含 GGUF 轉換、計算圖、tokenizer、chat template，以及推理與工具呼叫。
llama.cpp releasesAI 評分42
llama.cpp b11521 服務端預設埠改為 9931
llama.cpp 新版本 b11521 把內建 server 的預設埠改為 9931，依賴預設埠的啟動指令碼與容器埠對映需相應調整。該版本同時放出各平台預編譯包，覆蓋 macOS Apple Silicon、iOS XCFramework、Ubuntu（CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL）、Windows x64/arm64、Android，以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon…
llama.cpp releasesAI 評分41
llama.cpp b11537 修復 Gemma 4 embedding 並改進建置邏輯
llama.cpp 發布 b11537，重點是修復 Gemma 4 的 embedding 相關問題、改進輸入 embedding 的建置邏輯。該版本在 graph 中重排了 embeddings 使用的 get_rows，修好 raw embeddings 路徑，在 Gemma 4 的 embedding 路徑中避免 ple cast，併為 LoRA 留下 TODO。
llama.cpp releasesAI 評分40
llama.cpp 發布 b11606，簡化後端搜尋路徑錯誤處理
llama.cpp 發布版本 b11606，主要改動是簡化 ggml 後端搜尋路徑的錯誤處理，由 Adrien Gallouët 提交。該版本同步提供 macOS、Linux、Windows、Android 及 openEuler 等多平台建置，涵蓋 Apple Silicon、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL 等後端；
llama.cpp releasesAI 評分45
llama.cpp b11572 新增 vLLM d3 模型支援
llama.cpp 發布 b11572，新增對 vLLM d3 模型的支援（d2 同步更新），並加入 pplx-decider 模型支援，同時澄清命名規則、加強校驗。該版本照例提供 macOS/iOS、Linux、Windows、Android、openEuler 的預編譯包，覆蓋 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 以及驍龍 CPU/Adreno GPU/Hexagon NPU 等後端。
X @ggerganov● 精選AI 評分77
@ggerganov: The new v0.6.0 release packs a lot of good stuff:
llama.cpp 發布 v0.6.0，作者 ggerganov 列出了這一版的主要更新：新增 Clef 支援，涵蓋文字與視覺；對 Qwen3.8-Flash-Next 提供高品質支援；Metal 後端效能大幅提升；並引入新的 llama_batch_ext API。配套官網也完成改版，地址為 llama.app。原文未給出各項改動的具體效能數字。
Ollama releasesAI 評分43
v0.40.1
Ollama 發布 v0.40.1，服務端新增代理雲端用量與餘額 API，客戶端可藉此讀取帳戶用量與餘額。該版本還把帳號步驟從 CLI 新手引導中移除，修復 Windows 上 llama 讀取超過 2GiB 的 clef head 問題，並讓 manifest 在 Windows 上避免使用符號連結。MLX 方面刪除了已進入上游的 Metal residency 補丁，文件修復了 README 社群整合列表中的 6 個失效連結和應用 README 的下載連結。
llama.cpp releasesAI 評分42
llama.cpp b11607 發布：chat 輸出改為 parts 結構
llama.cpp 發布 b11607 建置，主要變更是把 chat 的輸出由單個字串改為 parts 結構（PR #30389）。同版本更新了各平台預編譯產物，覆蓋 macOS/iOS、Linux、Windows、Android 與 openEuler，含 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等後端，以及 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 支援。
X @ggerganovAI 評分42
llama.cpp v0.7.0 發布，llama serve 新增懶載入與推測解碼
llama.cpp 發布 v0.7.0，作者給出的範例命令是 llama serve -hf ggml-org/Qwen3.8-Flash-Next-GGUF:IQ4_NL --spec-type draft-mtp --lazy-mode on。命令通過 -hf 指定 Hugging Face 上的 Qwen3.8-Flash-Next GGUF 倉庫及 IQ4_NL 量化，並同時開啟 --lazy-mode 懶載入與 --spec-type draft-mtp 推測解碼。
llama.cpp releasesAI 評分37
llama.cpp b11539 應用上游深層巢狀 JSON 補丁
llama.cpp 發布 b11539 建置，唯一程式碼改動是應用來自上游的深層巢狀 JSON 補丁（#30253）。各平台預編譯包照常提供，覆蓋 macOS/iOS、Ubuntu（CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL）、Android、Windows 以及 openEuler。其中 macOS Apple Silicon 的 KleidiAI 啟用版和 openEuler 建置本次被標記為 DISABLED。
llama.cpp releases● 精選AI 評分85
llama.cpp v0.7.0 發布：MoE 專家快取最高帶來 2.2 倍解碼提速
llama.cpp 發布 v0.7.0，最核心的變化是新增主機記憶體 MoE 專家的 GPU 快取（--moe-cache-mib），專家改由裝置端 LRU 快取執行，專家解除安裝時解碼最高提速約 2.2 倍，且該快取可跨多張 GPU 共享。版本同時加入 LiliCorr 投機解碼與 GLM5-Next 的 MTP 投機解碼，並支援 K2 Horizon、Prism Bonsai 2 27B、EmbeddingGemma-2、MiniCPM-V 4.7 等一批新模型。
llama.cpp releasesAI 評分37
llama.cpp b11501：SYCL 後端 FWHT 最佳化，macOS KleidiAI 建置停用
llama.cpp 發布 b11501 建置，主要變更是 SYCL 後端的 FWHT 最佳化（PR #29605）。該版本繼續提供 macOS/iOS、Linux、Windows、Android 與 openEuler 的預編譯包，覆蓋 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL FP32/FP16，以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU。