llama.cpp 發布 b11384 版本,覆蓋多平台預編譯包
llama.cpp 發布 b11384 版本,官網為 llama.app,並附 GitHub 建置證明。該版本提供 macOS、iOS、Linux、Android、Windows 及 openEuler 的預編譯包,涵蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。
依意思最接近的 30 筆
llama.cpp 發布 b11384 版本,官網為 llama.app,並附 GitHub 建置證明。該版本提供 macOS、iOS、Linux、Android、Windows 及 openEuler 的預編譯包,涵蓋 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 與 Snapdragon 的 CPU、Adreno GPU、Hexagon NPU 等後端。
llama.cpp 的 server 在 b11781 建置中加入 POST /tts 端點,可直接為 TTS 模型提供語音合成服務。該端點支援通過 form-data 上傳 speaker_ref 參考音色、向 API 暴露 seed,並補齊 /tts 的路由、文件與 server_schema;mtmd 同時新增音訊輸出流 API。
llama.cpp 作者 Georgi Gerganov(@ggerganov)稱,llama.cpp 出現在了 10 月 7 日 Windows 活動的主舞臺上。他表示軟體與硬體棧終於走到一起,社群過去多年的努力得到體現,並期待更多使用者擁抱本地 AI。推文未說明該活動的具體內容,也未提及 llama.cpp 在其中的展示形式。
llama.cpp 新版本 b11521 把內建 server 的預設埠改為 9931,依賴預設埠的啟動指令碼與容器埠對映需相應調整。該版本同時放出各平台預編譯包,覆蓋 macOS Apple Silicon、iOS XCFramework、Ubuntu(CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL)、Windows x64/arm64、Android,以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon…
llama.cpp 發布 v0.6.0,新增 llama_batch_ext 擴充套件 batch API,支援混合 token/embedding 輸入與 MTP、deepstack 狀態嵌入。本次加入 320B 的 GLM-5.3-Flash(GLM5-Next)文字+視覺混合模型、Clef 決策模型,以及 Qwen4Exp 的 MTP 投機解碼,官方稱在 DGX Spark 上解碼約快 1.5 倍。
llama.cpp 發布 v0.7.0,作者給出的範例命令是 llama serve -hf ggml-org/Qwen3.8-Flash-Next-GGUF:IQ4_NL --spec-type draft-mtp --lazy-mode on。命令通過 -hf 指定 Hugging Face 上的 Qwen3.8-Flash-Next GGUF 倉庫及 IQ4_NL 量化,並同時開啟 --lazy-mode 懶載入與 --spec-type draft-mtp 推測解碼。
llama.cpp 的 server 元件新增了 /v1/systemone API,支援 laya、julia-1、lev、openjev、kev 五個模型。該 PR 包含模型轉換、服務端程式碼、共享提示字首、視覺支援,並新增 openjev tiny 模型用於測試。建置覆蓋 macOS、Linux、Windows、Android 等平台,但明確不支援 date_facts。
llama.cpp 版本號升至 0.7.0,建置號為 b11669。此次發布的預編譯包覆蓋 macOS(Apple Silicon 與 Intel)、Linux、Windows、Android、iOS 及 openEuler,其中新增 CUDA 13(基於 13.4 庫)與 ROCm 10.0 後端,並保留 Vulkan、SYCL、OpenVINO 等選項。
llama.cpp 發布 b11662 版本(同步 ggml),預編譯建置提供 ROCm 10.0、CUDA 13(13.4 庫)以及驍龍平台的 CPU、Adreno GPU 與 Hexagon NPU 版本。
llama.cpp 發布更新,將依賴庫 cpp-httplib 升級到 0.59.0,對應 PR #29886。該版本繼續提供覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的預編譯建置,包括 Apple Silicon、CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 以及 Snapdragon 的 CPU、Adreno GPU 和 Hexagon NPU 等後端。
PS5LM 把 llama.cpp 的 Vulkan 後端搬到越獄 PS5 的 RDNA 2 GPU 上,用 11.4 GB 共享記憶體把主機變成家用模型伺服器,對外提供 OpenAI 與 Anthropic 介面,Claude Code 等客戶端可直接連。實測 Qwen 3.5 9B Q4_K_M 約 55 tokens/秒,27B 的 UD-Q2_K_XL 約 20 tokens/秒、64k 上下文;
llama.cpp 發布新建置 b11468,主要變更是將 cpp-httplib 升級到 0.60.0(#30081)。該版本同時提供 macOS/iOS、Linux、Windows、Android 與 openEuler 的預編譯產物,後端覆蓋 Apple Silicon arm64、CUDA 12.8 與 CUDA 13.4、Vulkan、ROCm 10.0、OpenVINO、SYCL FP32/FP16,以及 Snapdragon 的 CPU、Adreno GPU 與…
llama.cpp 的 server 加入 Realtime transcription API,可按 GA Realtime 規範提供基於 WebSocket 的即時語音轉寫會話,會話物件採用 type transcription,輸入格式、轉寫模型、輪次檢測與降噪放在 audio.input 下。API key 中介軟體現在會在 WebSocket 握手階段鑑權,支援 Bearer、原始 key 與 X-Api-Key,401 在升級前返回;
llama.cpp 發布建置 b11418,其 server 新增對 Clef 的視覺輸入支援(PR #29969),並修復影像 token 上限、abort 與 yield_to_queue 資料變更等問題。
llama.cpp 發布 b11392 版本,主要變更是 CI 設定預設權限(#29945)。該版本提供覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 的預編譯產物,包括 Apple Silicon arm64、CUDA 12/13、ROCm 10.0、Vulkan、OpenVINO、SYCL 等後端;
llama.cpp 的 server 新增實驗性 --connect 引數,經 llama-connect 隧道讓區域網外的裝置也能 P2P 訪問本地推理服務。未啟用隧道時不再在 /props 暴露 connect code,避免 Web UI 顯示實際無人服務的遠端訪問碼;--connect 只在繫結 TCP 埠時可用,僅綁 unix socket 會被拒絕。
llama.cpp 將版本號提升到 0.6.0(PR #29997),並更新了 scripts 的 summary prompt。隨版本給出的建置產物覆蓋 macOS(Apple Silicon arm64、Intel x64)、iOS XCFramework、Linux(Ubuntu x64/arm64/s390x,含 CUDA 12、CUDA 13、ROCm 10.0、Vulkan、OpenVINO、SYCL)、Android arm64、Windows(x64/arm6…
llama.cpp 發布 b11415,其 server 端現在會拒絕部分媒體截斷(partial media truncation)的請求。此次提交只保留 keep_first 修復,去掉了 mtmd 測試輔助改動——clip_image_f32_batch 改為按值儲存條目後該改動已無法編譯;同時刪除視覺測試,因為沒有測試夾具能在複用快取的情況下切到兩個相鄰媒體塊之間,該測試與修復本身無關。
llama.cpp 建置 b11488 新增 LiquidAI/d1-omni-600M 決策模型支援,服務端可通過 images 與 input_audio 直接接收音訊輸入,模型與多模態輸入打通。同時決策型別 d1omni 更名為 lfm2-d1-omni,images 成為 files 的別名,無記憶的 lfm2 被限定為非因果模式,CUDA 後端保留 conformer 的 GLU sigmoid。四筆改動均標註由 Claude Opus 5.5 協助完成;
llama.cpp 合併 PR #29903,通過將 n_batch 限制為不超過 n_ubatch 來修復 server 崩潰問題,對應 issue #29902。該修復由 Claude 輔助完成,並移除了相關測試與 embeddings 條件。新版本已覆蓋 macOS、Linux、Windows、Android 等平台,包括 Apple Silicon、CUDA、ROCm、Vulkan 等後端。
llama.cpp 發布 b11531,主要變更是重構 chat API(#30210)。同步重新整理的預編譯產物覆蓋 macOS Apple Silicon、Ubuntu、Windows、Android 與 openEuler,包含 CUDA 12/13、Vulkan、ROCm 10.0、SYCL、OpenVINO,以及 Snapdragon 的 Adreno GPU 與 Hexagon NPU 版本。
llama.cpp 修復了 llama-server 在轉義特殊 token 時會被單個請求打崩的棧溢位問題。此前 d1-omni 與 kev 兩個 prompt 用 std::regex_replace 處理請求文字里的 "<|name|>",libstdc++ 會按名字的每個字元遞迴,輸入 "<|" 加 30000 個字母即可撐爆 HTTP 執行緒棧,程序以 SIGSEGV 退出。
llama.cpp 作者 Georgi Gerganov 建議使用 Qwen3.8-27B + MTP 的使用者升級到 DFlash,以獲得額外速度提升。啟用方式是在最新 llama.cpp v0.6.0 上執行 llama serve -hf ggml-org/Qwen3.8-27B-GGUF,並加上 --spec-type draft-dflash 與 --spec-draft-n-max 7 兩個引數。該提示未給出具體提速幅度,只強調必須使用最新版本。
llama.cpp 發布建置版本 b11465,本次改動是「測試:在測試遞迴回滾時保留 anchor」(#29923)。該版本提供的預編譯產物覆蓋 macOS/iOS、Linux、Android、Windows 與 openEuler,其中 Windows 與 Linux 的 x64/arm64 均包含 CUDA 12、CUDA 13(CUDA 13.4 庫)、Vulkan、ROCm 10.0、OpenVINO、SYCL 等後端。
llama.cpp 發布版本 b11606,主要改動是簡化 ggml 後端搜尋路徑的錯誤處理,由 Adrien Gallouët 提交。該版本同步提供 macOS、Linux、Windows、Android 及 openEuler 等多平台建置,涵蓋 Apple Silicon、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL 等後端;
llama.cpp 發布 b11391 建置版本,唯一程式碼改動是將 CUDA 後端的 blocks_per_col 變數移到實際使用位置(PR #29939),由 Hugging Face 的 Adrien Gallouët 提交。
llama.cpp 現在可以通過 ggml RPC 後端,把推理任務分散到異構裝置上共同完成,即同一次推理可由不同型別的硬體一起承擔。llama.cpp 作者 Georgi Gerganov 說明,這一能力目前仍是進階設定,但會隨時間逐步降低使用門檻,讓普通使用者也能用上。原文未給出支援的具體硬體組合、效能表現或可用版本。
llama.cpp 發布 b11399 版本,主要變更是重構 CUDA swizzling 程式碼並修復模板與迴圈邊界。該版本繼續提供 macOS、Linux、Windows、Android 等多平台預編譯包,其中 macOS Apple Silicon 的 KleidiAI 版本被標記為 DISABLED,openEuler 建置同樣被停用。
llama.cpp 發布 v0.7.0,最核心的變化是新增主機記憶體 MoE 專家的 GPU 快取(--moe-cache-mib),專家改由裝置端 LRU 快取執行,專家解除安裝時解碼最高提速約 2.2 倍,且該快取可跨多張 GPU 共享。版本同時加入 LiliCorr 投機解碼與 GLM5-Next 的 MTP 投機解碼,並支援 K2 Horizon、Prism Bonsai 2 27B、EmbeddingGemma-2、MiniCPM-V 4.7 等一批新模型。
llama.cpp 發布 b11364 版本,新增對 nimble 決策模型的支援(PR #29844)。該版本覆蓋 macOS、iOS、Linux、Android、Windows 與 openEuler 平台,提供 CPU、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL、Snapdragon 的 Adreno GPU 與 Hexagon NPU 等後端建置;