llama.cpp b11769 修復 Router 客戶端斷開延遲取消問題

llama.cpp releases10/21 01:15版本更新地端推論開源

llama.cpp 發布 build b11769，核心修復是 server 的 Router 未把客戶端斷開完整傳遞給子程序，導致回應等待期間出現取消延遲。其餘改動為測試調整：補上 router 斷開的型別檢查，並移除對時序敏感的 router 取消測試。

llama.cpp 本地推理版本更新 Router CUDA

原標題：b11769
閱讀原文

評分	42 / 42（平均 42，門檻 60）
狀態	未入選

原文

server: Router wasn't propagating the client disconnects fully to the child, the response wait could cause a delayed cancellation ( #29707 ) Router wasn't propagating the client disconnects fully to the child, the response wait could cause a delayed cancellation tests: satisfy router disconnect type check server : remove timing-sensitive router cancellation test Assisted-by: Codex Website: https://llama.app Attestations: https://github.com/ggml-org/llama.cpp/attestations/58022632 macOS/iOS: macOS Apple Silicon (arm64) macOS Apple Silicon (arm64, KleidiAI enabled) DISABLED macOS Intel (x64) iOS XCFramework Linux: Ubuntu x64 (CPU) Ubuntu arm64 (CPU) Ubuntu s390x (CPU) Ubuntu x64 (Vulkan) Ubuntu arm64 (Vulkan) Ubuntu x64 (CUDA 12) - CUDA 12.8 libraries Ubuntu x64 (CUDA 13) - CUDA 13.4 libraries Ubuntu arm64 (CUDA 13) - CUDA 13.4 libraries Ubuntu x64 (ROCm 10.0) Ubuntu x64 (OpenVINO) Ubuntu x64 (SYCL FP32) Ubuntu x64 (SYCL FP16) Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide Android: Android arm64 (CPU) Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide Windows: Windows x64 (CPU) Windows arm64 (CPU) Windows arm64 (OpenCL Adreno) Windows x64 (CUDA 12) - CUDA 12.4 DLLs Windows x64 (CUDA 13) - CUDA 13.4 DLLs Windows arm64 (CUDA 13) - CUDA 13.4 DLLs Windows x64 (Vulkan) Windows arm64 (Vulkan) Windows x64 (OpenVINO) Windows x64 (SYCL) Windows x64 (ROCm 10.0) openEuler: DISABLED openEuler x86 (310p) openEuler x86 (910b, ACL Graph) openEuler aarch64 (310p) openEuler aarch64 (910b, ACL Graph) UI: UI

相關報導

llama.cpp releases10/5 00:39AI 評分42

llama.cpp 修復 router 日誌與命令混流並啟用 Windows 控制台 ANSI 顏色

llama.cpp 發布 b11401 建置，修復 router 模式下子程序狀態命令與日誌共用同一管道導致命令被漏讀的問題，改為子程序 stdout 專用於命令、其餘輸出重定向到 stderr。日誌顏色重置位置調整到換行符之前，使每行顏色自包含，避免汙染下一條命令。Windows 控制台現在會在開啟顏色時啟用虛擬終端模式，無法渲染 ANSI 的終端則保持關閉顏色。

地端推論開發工具 llama.cpp 日誌 ANSI 顏色 router 模式 Windows 控制台

閱讀原文

llama.cpp releases● 精選10/19 22:23AI 評分71

llama.cpp 伺服器新增實驗性 --connect 遠端訪問

llama.cpp 的 server 新增實驗性 --connect 引數，經 llama-connect 隧道讓區域網外的裝置也能 P2P 訪問本地推理服務。未啟用隧道時不再在 /props 暴露 connect code，避免 Web UI 顯示實際無人服務的遠端訪問碼；--connect 只在繫結 TCP 埠時可用，僅綁 unix socket 會被拒絕。

地端推論開發工具 llama.cpp llama-connect P2P server 實驗性

閱讀原文

llama.cpp releases10/20 23:19AI 評分35

llama.cpp 移除 Kolibri-1 路由器的冗餘精度覆蓋

llama.cpp 建置 b11765 刪除了 Kolibri-1 路由器中的兩處 ggml_prec_set_* 精度覆蓋（#30865），原因是該路由的矩陣乘用預設精度就能正常工作，這是 #30673 評審意見的後續改動，另含一處註釋修正。同一版本照例發布各平台二進位制，但 macOS Apple Silicon 的 KleidiAI 啟用版與 openEuler 建置均被標記為停用。

地端推論開源 llama.cpp GGUF 本地推理精度最佳化 Kolibri-1

閱讀原文

llama.cpp releases10/5 12:05AI 評分45

llama.cpp server 拒絕部分媒體截斷

llama.cpp 發布 b11415，其 server 端現在會拒絕部分媒體截斷（partial media truncation）的請求。此次提交只保留 keep_first 修復，去掉了 mtmd 測試輔助改動——clip_image_f32_batch 改為按值儲存條目後該改動已無法編譯；同時刪除視覺測試，因為沒有測試夾具能在複用快取的情況下切到兩個相鄰媒體塊之間，該測試與修復本身無關。

地端推論開源 llama.cpp b11415 多模態 server 版本更新

閱讀原文

llama.cpp releases10/4 10:22AI 評分42