AISpot
所屬事件:llama.cpp 修復 realtime 介面崩潰,改為返回 error 事件(1 個來源 · 2 則報導)

2026 年 11 月 4 日至 5 日,llama.cpp 連續發布 b12119 與 b12137 兩個建置,集中修復 server 端 realtime(WebSocket)介面的崩潰問題:遇到異常時不再讓程序崩潰,而是改為向客戶端返回 error 事件。b12119 中,realtime 介面丟擲的異常改為以… 看完整事件

llama.cpp 即時介面異常不再崩潰,改為返回 error 事件

llama.cpp releases版本更新地端推論開源

llama.cpp 建置 b12119 中,server 的 realtime(WebSocket)介面遇到異常時不再讓程序崩潰,而是向客戶端傳送 error 事件。同一批改動把 WebSocket 處理器統一走 ex_wrapper,並在聊天模板拒絕新工具時保留上一輪的工具列表。語法無法轉換的工具 schema 現在會被直接拒絕。

原標題:b12119
閱讀原文

同一事件共有 2 則報導(1 個來源),看事件全貌

評分42 / 42(平均 42,門檻 60)
狀態未入選

原文

server : realtime: send an error event instead of crashing on exceptions ( #31632 ) server : realtime: send an error event instead of crashing on exceptions server : route websocket handlers through ex_wrapper, remove the realtime test server : realtime: keep the previous tools when the chat template rejects new ones server : realtime: reject tool schemas the grammar cannot convert, drop ws_ex_wrapper server : realtime: clarify the tool schema check comment Website: https://llama.app Attestations: https://github.com/ggml-org/llama.cpp/attestations/63794252 macOS/iOS: macOS Apple Silicon (arm64) macOS Apple Silicon (arm64, KleidiAI enabled) DISABLED macOS Intel (x64) iOS XCFramework Linux: Ubuntu x64 (CPU) Ubuntu arm64 (CPU) Ubuntu s390x (CPU) Ubuntu 26.04 s390x (CPU) Ubuntu 26.04 s390x (zDNN) Ubuntu x64 (Vulkan) Ubuntu arm64 (Vulkan) Ubuntu x64 (CUDA 12) - CUDA 12.8 libraries Ubuntu x64 (CUDA 13) - CUDA 13.4 libraries Ubuntu arm64 (CUDA 13) - CUDA 13.4 libraries Ubuntu x64 (ROCm 10.0) Ubuntu x64 (OpenVINO) Ubuntu x64 (SYCL FP32) Ubuntu x64 (SYCL FP16) Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide Android: Android arm64 (CPU) Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide Windows: Windows x64 (CPU) Windows arm64 (CPU) Windows arm64 (OpenCL Adreno) Windows x64 (CUDA 12) - CUDA 12.4 DLLs Windows x64 (CUDA 13) - CUDA 13.4 DLLs Windows arm64 (CUDA 13) - CUDA 13.4 DLLs Windows x64 (Vulkan) Windows arm64 (Vulkan) Windows x64 (OpenVINO) Windows x64 (SYCL) Windows x64 (ROCm 10.0) openEuler: DISABLED openEuler x86 (310p) openEuler x86 (910b, ACL Graph) openEuler aarch64 (310p) openEuler aarch64 (910b, ACL Graph) UI: UI

相關報導

llama.cpp releases● 精選AI 評分77

llama.cpp 服務端新增 /v1/realtime 即時對話與轉寫

llama.cpp 服務端在 /v1/realtime 介面上新增即時對話與語音轉寫能力。範例客戶端預設改為連線伺服器埠 9931,並改用模型卡中的 prompt。此次還修正了多 slot 併發取樣:此前在同一步驟開頭取樣會讀到最後一個解碼 slot 的 logits,導致併發會話輸出互相混淆,現在改為每個 slot 在自身解碼後立即取樣;

llama.cpp releasesAI 評分53

llama.cpp 修復特殊 token 轉義導致的 server 崩潰

llama.cpp 修復了 llama-server 在轉義特殊 token 時會被單個請求打崩的棧溢位問題。此前 d1-omni 與 kev 兩個 prompt 用 std::regex_replace 處理請求文字里的 "<|name|>",libstdc++ 會按名字的每個字元遞迴,輸入 "<|" 加 30000 個字母即可撐爆 HTTP 執行緒棧,程序以 SIGSEGV 退出。

llama.cpp releasesAI 評分45

llama.cpp 修復深層巢狀 JSON 致服務崩潰

llama.cpp 發布 b11871,在遞迴遍歷前先檢查 JSON 巢狀深度,超過 128 層直接返回 400,避免請求打爆 HTTP 執行緒棧、讓 llama-server 崩潰。此前 schema builder、jinja 引擎與決策程式碼都遞迴遍歷請求 JSON,macOS 上幾百層深的工具 schema 就會觸發 SIGBUS,Linux 約一萬層觸發 SIGSEGV。