2026 年 10 月 21 日起，llama.cpp 用三個建置為服務端補上即時語音能力。b11780 在 server 中加入 Realtime transcription API，按 GA Realtime 規範經 WebSocket 提供即時語音轉寫會話，會話物件 type 為 transcription，輸入… 看完整事件
llama.cpp 服務端新增 /v1/realtime 即時對話與轉寫
llama.cpp 服務端在 /v1/realtime 介面上新增即時對話與語音轉寫能力。範例客戶端預設改為連線伺服器埠 9931，並改用模型卡中的 prompt。此次還修正了多 slot 併發取樣：此前在同一步驟開頭取樣會讀到最後一個解碼 slot 的 logits，導致併發會話輸出互相混淆，現在改為每個 slot 在自身解碼後立即取樣；
llama.cpp 服務端補上即時對話與語音轉寫介面，並修掉併發 slot 取樣串臺問題，對用 llama.cpp 自建服務、跑多路併發會話的開發者最有用。
原標題：b11946
閱讀原文
| 評分 | 78 / 76（平均 77，門檻 60） |
|---|---|
| 狀態 | 精選 |
全文翻譯
由 AI 翻譯，以原文為準。
原文
相關報導
llama.cpp server 新增 /tts 語音合成介面
llama.cpp 的 server 在 b11781 建置中加入 POST /tts 端點，可直接為 TTS 模型提供語音合成服務。該端點支援通過 form-data 上傳 speaker_ref 參考音色、向 API 暴露 seed，並補齊 /tts 的路由、文件與 server_schema；mtmd 同時新增音訊輸出流 API。
llama.cpp 新增 mtmd_audio_stream，支援 Voxtral Realtime
llama.cpp 發布 b11675 建置，在 mtmd 多模態工具庫中新增 mtmd_audio_stream 介面，並加入對 Voxtral Realtime 即時音訊模型的支援。
llama.cpp 在 /v1/messages 上轉發取樣引數
llama.cpp 新建置 b11795 讓伺服器在 /v1/messages 介面上轉發 llama.cpp 原生取樣引數，使用者可通過 extra_params 欄位傳入，README 範例已同步展示。該介面原先只複製白名單內的鍵，現在改為整個請求直接透傳，以減少欄位丟失。
llama.cpp b11521 服務端預設埠改為 9931
llama.cpp 新版本 b11521 把內建 server 的預設埠改為 9931，依賴預設埠的啟動指令碼與容器埠對映需相應調整。該版本同時放出各平台預編譯包，覆蓋 macOS Apple Silicon、iOS XCFramework、Ubuntu（CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL）、Windows x64/arm64、Android，以及 Snapdragon 的 CPU、Adreno GPU 與 Hexagon…
llama.cpp 的 Anthropic 相容端點開始透傳 id_slot
llama.cpp 建置 b11756 修復了 Anthropic /v1/messages 轉換路徑不轉發 id_slot 的問題：服務端在把 Anthropic 請求轉成內部 OAI 格式時只複製了一份常用引數白名單，遺漏了 id_slot，導致需要把會話固定到快取了 KV cache 的槽位的代理只能退回自動選槽，在混合/迴圈模型上還要重新做完整的 prefill。