llama.cpp releases● 精選AI 評分66
llama.cpp b11418：server 支援 Clef 視覺輸入
llama.cpp 發布建置 b11418，其 server 新增對 Clef 的視覺輸入支援（PR #29969），並修復影像 token 上限、abort 與 yield_to_queue 資料變更等問題。
搜尋
找到 19 筆
llama.cpp releasesAI 評分46
llama.cpp server 的 prompt cache 只儲存可恢復狀態
llama.cpp 更新 server 的 prompt cache 邏輯：現在只儲存可恢復的 slot 狀態（PR #30498）。此前每個任務啟動時都會把空閒 slot 全部寫入快取，rerank、embedding、decision、infill 的狀態填滿快取卻從不被讀回；
llama.cpp releases● 精選AI 評分73
llama.cpp server 新增 /tts 語音合成介面
llama.cpp 的 server 在 b11781 建置中加入 POST /tts 端點，可直接為 TTS 模型提供語音合成服務。該端點支援通過 form-data 上傳 speaker_ref 參考音色、向 API 暴露 seed，並補齊 /tts 的路由、文件與 server_schema；mtmd 同時新增音訊輸出流 API。
llama.cpp releasesAI 評分53
llama.cpp 修復特殊 token 轉義導致的 server 崩潰
llama.cpp 修復了 llama-server 在轉義特殊 token 時會被單個請求打崩的棧溢位問題。此前 d1-omni 與 kev 兩個 prompt 用 std::regex_replace 處理請求文字里的 "<|name|>"，libstdc++ 會按名字的每個字元遞迴，輸入 "<|" 加 30000 個字母即可撐爆 HTTP 執行緒棧，程序以 SIGSEGV 退出。
llama.cpp releasesAI 評分20
llama.cpp 修復 server 因 n_batch 超限導致的 abort
llama.cpp 合併 PR #29903，通過將 n_batch 限制為不超過 n_ubatch 來修復 server 崩潰問題，對應 issue #29902。該修復由 Claude 輔助完成，並移除了相關測試與 embeddings 條件。新版本已覆蓋 macOS、Linux、Windows、Android 等平台，包括 Apple Silicon、CUDA、ROCm、Vulkan 等後端。
llama.cpp releasesAI 評分45
llama.cpp server 拒絕部分媒體截斷
llama.cpp 發布 b11415，其 server 端現在會拒絕部分媒體截斷（partial media truncation）的請求。此次提交只保留 keep_first 修復，去掉了 mtmd 測試輔助改動——clip_image_f32_batch 改為按值儲存條目後該改動已無法編譯；同時刪除視覺測試，因為沒有測試夾具能在複用快取的情況下切到兩個相鄰媒體塊之間，該測試與修復本身無關。
Ollama releasesAI 評分59
llama.cpp v0.40.0-rc0 準備移除相容補丁
llama.cpp 發布 v0.40.0-rc0，核心是為 llama-server 移除相容補丁做準備。該版本引入 manifest-list 儲存，讓不同 runner 的 manifest 共存於同一 tag，並保留 v1 tag 作為降級錨點；同時為舊版 Ollama GGUF 加入惰性本地相容遷移，轉為 llama.cpp 相容子模型，覆蓋已修補的模型家族，並保留解析器/渲染器、模板、投影器、媒體後設資料、分片 GGUF 及 MTP/draft 張量。
llama.cpp releases● 精選AI 評分71
llama.cpp 伺服器新增實驗性 --connect 遠端訪問
llama.cpp 的 server 新增實驗性 --connect 引數，經 llama-connect 隧道讓區域網外的裝置也能 P2P 訪問本地推理服務。未啟用隧道時不再在 /props 暴露 connect code，避免 Web UI 顯示實際無人服務的遠端訪問碼；--connect 只在繫結 TCP 埠時可用，僅綁 unix socket 會被拒絕。
llama.cpp releasesAI 評分44
llama.cpp 新增 IBM Granite Switch 決策模型支援
llama.cpp 發布 b11700，新增對 IBM Granite Switch 決策模型的轉換與推理支援，改動覆蓋 convert、common 與 server，模板參考 granite-switch-4.1-8b。開發中曾加入 decision.chat 讓決策模型兼作聊天，隨後被回退，最終確定為只要 Granite Switch 支援決策就始終支援文字，server README 也同步更新。
Ollama releasesAI 評分35
v0.40.2-rc0: server: hide duplicate and downgrade guards from list (#18874)
Ollama v0.40.2-rc0 讓伺服器端不再在 list 輸出中顯示舊版 GGUF 的重複副本與降級保護條目（#18874）。當載入需要 llama.cpp 補丁集的舊 GGUF 時，Ollama 會在磁碟上做惰性轉換以相容 llama.cpp；為支援降級，它會同時保留新舊 GGUF 並建立 shadow v1 manifest tag，防止降級後的伺服器刪除新 blob。這些條目此前出現在列表裡會令使用者與 API 呼叫方困惑，舊副本將在未來版本中移除以回收磁碟空間。
llama.cpp releasesAI 評分32
llama.cpp 修復 SWA 檢查點失效邏輯
llama.cpp 發布 b11738 版本，服務端修復了滑動視窗注意力（SWA）檢查點的失效邏輯（#30666），並補充了在 n_past 閾值下會失敗的測試用例。本次更新仍照常提供 macOS、Linux、Windows、Android 等各平台建置，涵蓋 CUDA、Vulkan、ROCm、SYCL 與驍龍 NPU 後端。
llama.cpp releasesAI 評分25
llama.cpp 伺服器新增 /v1/systemone API，支援 laya、julia-1 等模型
llama.cpp 的 server 元件新增了 /v1/systemone API，支援 laya、julia-1、lev、openjev、kev 五個模型。該 PR 包含模型轉換、服務端程式碼、共享提示字首、視覺支援，並新增 openjev tiny 模型用於測試。建置覆蓋 macOS、Linux、Windows、Android 等平台，但明確不支援 date_facts。
llama.cpp releasesAI 評分42
llama.cpp b11769 修復 Router 客戶端斷開延遲取消問題
llama.cpp 發布 build b11769，核心修復是 server 的 Router 未把客戶端斷開完整傳遞給子程序，導致回應等待期間出現取消延遲。其餘改動為測試調整：補上 router 斷開的型別檢查，並移除對時序敏感的 router 取消測試。
llama.cpp releases● 精選AI 評分75
llama.cpp 新增即時語音轉寫 API
llama.cpp 的 server 加入 Realtime transcription API，可按 GA Realtime 規範提供基於 WebSocket 的即時語音轉寫會話，會話物件採用 type transcription，輸入格式、轉寫模型、輪次檢測與降噪放在 audio.input 下。API key 中介軟體現在會在 WebSocket 握手階段鑑權，支援 Bearer、原始 key 與 X-Api-Key，401 在升級前返回；
llama.cpp releasesAI 評分42
llama.cpp b11521 服務端預設埠改為 9931
llama.cpp 新版本 b11521 把內建 server 的預設埠改為 9931，依賴預設埠的啟動指令碼與容器埠對映需相應調整。該版本同時放出各平台預編譯包，覆蓋 macOS Apple Silicon、iOS XCFramework、Ubuntu（CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL）、Windows x64/arm64、Android，以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon…
llama.cpp releasesAI 評分43
llama.cpp 修復投機解碼下 logprobs 為空的問題
llama.cpp 建置 b11776 修復了服務端在開啟投機解碼（speculative decoding）時無法正確返回 logprobs 的問題：此前被接受的草稿 token 其 logprob 報為 0.0、top_logprobs 為空，現在改為返回目標模型的 logprobs。同時新增迴歸測試（#24271），把開啟草稿的執行與不開草稿的基線做對比，該測試在修復前的版本上失敗，應用 #27196 後通過。
llama.cpp releasesAI 評分42
llama.cpp 的 Anthropic 相容端點開始透傳 id_slot
llama.cpp 建置 b11756 修復了 Anthropic /v1/messages 轉換路徑不轉發 id_slot 的問題：服務端在把 Anthropic 請求轉成內部 OAI 格式時只複製了一份常用引數白名單，遺漏了 id_slot，導致需要把會話固定到快取了 KV cache 的槽位的代理只能退回自動選槽，在混合/迴圈模型上還要重新做完整的 prefill。
Ollama releasesAI 評分45
v0.40.4
Ollama 發布 v0.40.4，把 llama.cpp 升級到 b11521，為 decision 模型和 EmbeddingGemma 2 提供支援。MLX 與 MLX-C 版本號同步上調，並修復 MLX 推測回滾後恢復的迴圈狀態未壓縮的問題。launch 方面，Codex 的 /model 選擇器現在會列出已安裝的模型；server 端在推理路由中複用已校驗的 manifest 與已載入模型。
llama.cpp releasesAI 評分45
b11536: ui: Models Manager Follow-up Improvements (#30228)
llama.cpp 新版本 b11536 讓 server 的 GET /models 直接返回每個模型的訓練上下文長度（context_length），資料取自 GGUF 後設資料，無需載入模型或請求 Hugging Face Hub。新增的 common_get_gguf_n_ctx_train 只讀後設資料、相容 u32 與 u64，檔案缺失或無效時返回 0，router 列表因此可離線攜帶該欄位。