llama.cpp b11899 更新:mtmd 新增能力查詢介面並支援音訊流
llama.cpp 發布 b11899 建置,多模態模組 mtmd 新增 mtmd_helper_get_capabilities 介面,用於查詢模型能力,並加入 audio_stream 音訊流支援,同時恢復舊 API 以保持相容,涉及 audio_gen_spk_ref 與 text_gen。
原標題:b11899
閱讀原文
| 評分 | 42 / 42(平均 42,門檻 60) |
|---|---|
| 狀態 | 未入選 |
原文
相關報導
llama.cpp 新增 mtmd_audio_stream,支援 Voxtral Realtime
llama.cpp 發布 b11675 建置,在 mtmd 多模態工具庫中新增 mtmd_audio_stream 介面,並加入對 Voxtral Realtime 即時音訊模型的支援。
llama.cpp 發布 b11796,為 mtmd_gen 增加狀態物件
llama.cpp 發布建置版本 b11796,核心改動是為多模態生成介面 mtmd_gen 增加狀態物件(#30902),即把生成狀態獨立管理。該版本照例提供 macOS/iOS、Linux、Android、Windows 的多後端預編譯包,覆蓋 Apple Silicon、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL 與驍龍 CPU/Adreno/Hexagon。
llama.cpp server 新增 /tts 語音合成介面
llama.cpp 的 server 在 b11781 建置中加入 POST /tts 端點,可直接為 TTS 模型提供語音合成服務。該端點支援通過 form-data 上傳 speaker_ref 參考音色、向 API 暴露 seed,並補齊 /tts 的路由、文件與 server_schema;mtmd 同時新增音訊輸出流 API。
llama.cpp 在 mtmd 中支援 Soprano TTS 語音模型
llama.cpp 合併 PR #28607,在 mtmd 中加入 Soprano TTS 語音生成支援,可載入 Soprano-80M 與 Soprano-1.1-80M。兩個模型均為 Qwen3 主幹加 Vocos 解碼器:轉換指令碼可自動識別 checkpoint,把主幹匯出為 qwen3、把 decoder.pth 匯出為 mmproj,同時新增 Soprano 預分詞器(小寫、空白摺疊、逐數字切分、[UNK] 兜底)與 Vocos 計算圖和 ISTFT。
llama.cpp 新增 LiquidAI d1-omni-600M 決策模型
llama.cpp 建置 b11488 新增 LiquidAI/d1-omni-600M 決策模型支援,服務端可通過 images 與 input_audio 直接接收音訊輸入,模型與多模態輸入打通。同時決策型別 d1omni 更名為 lfm2-d1-omni,images 成為 files 的別名,無記憶的 lfm2 被限定為非因果模式,CUDA 後端保留 conformer 的 GLU sigmoid。四筆改動均標註由 Claude Opus 5.5 協助完成;