所屬事件:
llama.cpp 修復 realtime 介面崩潰,改為返回 error 事件(1 個來源 · 2 則報導)
2026 年 11 月 4 日至 5 日,llama.cpp 連續發布 b12119 與 b12137 兩個建置,集中修復 server 端 realtime(WebSocket)介面的崩潰問題:遇到異常時不再讓程序崩潰,而是改為向客戶端返回 error 事件。b12119 中,realtime 介面丟擲的異常改為以… 看完整事件
llama.cpp 即時介面異常不再崩潰,改為返回 error 事件
llama.cpp 建置 b12119 中,server 的 realtime(WebSocket)介面遇到異常時不再讓程序崩潰,而是向客戶端傳送 error 事件。同一批改動把 WebSocket 處理器統一走 ex_wrapper,並在聊天模板拒絕新工具時保留上一輪的工具列表。語法無法轉換的工具 schema 現在會被直接拒絕。
原標題:b12119
閱讀原文
同一事件共有 2 則報導(1 個來源),看事件全貌
| 評分 | 42 / 42(平均 42,門檻 60) |
| 狀態 | 未入選 |
|---|
原文
server : realtime: send an error event instead of crashing on exceptions ( #31632 )
server : realtime: send an error event instead of crashing on exceptions
server : route websocket handlers through ex_wrapper, remove the realtime test
server : realtime: keep the previous tools when the chat template rejects new ones
server : realtime: reject tool schemas the grammar cannot convert, drop ws_ex_wrapper
server : realtime: clarify the tool schema check comment
Website:
https://llama.app
Attestations:
https://github.com/ggml-org/llama.cpp/attestations/63794252
macOS/iOS:
macOS Apple Silicon (arm64)
macOS Apple Silicon (arm64, KleidiAI enabled) DISABLED
macOS Intel (x64)
iOS XCFramework
Linux:
Ubuntu x64 (CPU)
Ubuntu arm64 (CPU)
Ubuntu s390x (CPU)
Ubuntu 26.04 s390x (CPU)
Ubuntu 26.04 s390x (zDNN)
Ubuntu x64 (Vulkan)
Ubuntu arm64 (Vulkan)
Ubuntu x64 (CUDA 12) - CUDA 12.8 libraries
Ubuntu x64 (CUDA 13) - CUDA 13.4 libraries
Ubuntu arm64 (CUDA 13) - CUDA 13.4 libraries
Ubuntu x64 (ROCm 10.0)
Ubuntu x64 (OpenVINO)
Ubuntu x64 (SYCL FP32)
Ubuntu x64 (SYCL FP16)
Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide
Android:
Android arm64 (CPU)
Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide
Windows:
Windows x64 (CPU)
Windows arm64 (CPU)
Windows arm64 (OpenCL Adreno)
Windows x64 (CUDA 12) - CUDA 12.4 DLLs
Windows x64 (CUDA 13) - CUDA 13.4 DLLs
Windows arm64 (CUDA 13) - CUDA 13.4 DLLs
Windows x64 (Vulkan)
Windows arm64 (Vulkan)
Windows x64 (OpenVINO)
Windows x64 (SYCL)
Windows x64 (ROCm 10.0)
openEuler:
DISABLED
openEuler x86 (310p)
openEuler x86 (910b, ACL Graph)
openEuler aarch64 (310p)
openEuler aarch64 (910b, ACL Graph)
UI:
UI
相關報導
llama.cpp releases● 精選AI 評分77
llama.cpp 服務端在 /v1/realtime 介面上新增即時對話與語音轉寫能力。範例客戶端預設改為連線伺服器埠 9931,並改用模型卡中的 prompt。此次還修正了多 slot 併發取樣:此前在同一步驟開頭取樣會讀到最後一個解碼 slot 的 logits,導致併發會話輸出互相混淆,現在改為每個 slot 在自身解碼後立即取樣;
llama.cpp releasesAI 評分53
llama.cpp 修復了 llama-server 在轉義特殊 token 時會被單個請求打崩的棧溢位問題。此前 d1-omni 與 kev 兩個 prompt 用 std::regex_replace 處理請求文字里的 "<|name|>",libstdc++ 會按名字的每個字元遞迴,輸入 "<|" 加 30000 個字母即可撐爆 HTTP 執行緒棧,程序以 SIGSEGV 退出。
llama.cpp releasesAI 評分42
llama.cpp 發布 build b11769,核心修復是 server 的 Router 未把客戶端斷開完整傳遞給子程序,導致回應等待期間出現取消延遲。其餘改動為測試調整:補上 router 斷開的型別檢查,並移除對時序敏感的 router 取消測試。
llama.cpp releasesAI 評分41
llama.cpp 發布建置 b11768,修復 Responses API 的 SSE 事件中缺失 output_index 的相容性問題:新版本複用 Anthropic 流式程式碼,並移除多餘的 generated_tool_call_ids 與 oai_resp_tool_calls_started。
llama.cpp releasesAI 評分45
llama.cpp 發布 b11871,在遞迴遍歷前先檢查 JSON 巢狀深度,超過 128 層直接返回 400,避免請求打爆 HTTP 執行緒棧、讓 llama-server 崩潰。此前 schema builder、jinja 引擎與決策程式碼都遞迴遍歷請求 JSON,macOS 上幾百層深的工具 schema 就會觸發 SIGBUS,Linux 約一萬層觸發 SIGSEGV。