AISpot

b11850: mtmd : add Soprano TTS support (#28607)

llama.cpp releases版本更新地端推論開源

llama.cpp 的 mtmd 模組新增 Soprano TTS 支援，可在本地執行 80M 引數的語音生成模型 Soprano-80M 與 Soprano-1.1-80M。該模型由 Qwen3 主幹加 Vocos 解碼器組成，以僅支援生成的 mmproj 形式載入；

llama.cpp 官方合併 Soprano TTS 支援，把 80M 小模型以 mmproj 方式接入，為本地語音合成增加了一條輕量路徑，對在 llama.cpp 上跑多模態與音訊生成的使用者最直接。

llama.cppSoprano TTSVocosQwen3TTS

原標題：b11850: mtmd : add Soprano TTS support (#28607)
閱讀原文

評分63 / 76（平均 69，門檻 60）
狀態精選

全文翻譯

將 Soprano-80M 和 Soprano-1.1-80M ( https://huggingface.co/ekwek/Soprano-1.1-80M ) 新增為音訊生成模型：一個 Qwen3 主幹加上一個 Vocos 解碼器，以僅生成 mmproj 的形式執行 convert：檢測 Soprano 檢查點，並將主幹匯出為 qwen3，將 decoder.pth Vocos 權重匯出為 mmproj vocab：新增 soprano 預分詞器（小寫化、空白摺疊、按數字拆分、[UNK] 回退） mtmd：新增 Vocos 圖與 ISTFT，允許為 Soprano 載入僅生成 mmproj，並在 mtmd_get_memory_usage 中包含生成音訊上下文 mtmd-helper：新增 Soprano 管線；解碼器在整個話語上執行，因此流模式在 flush() 後以單個塊傳送音訊 tts：記錄 Soprano 用法 協助者：Codex 協助者：Claude Opus 5.5

由 AI 翻譯，以原文為準。

原文
Add Soprano-80M and Soprano-1.1-80M ( https://huggingface.co/ekwek/Soprano-1.1-80M ) as an audio generation model: a Qwen3 backbone plus a Vocos decoder that runs as a gen-only mmproj. convert: detect Soprano checkpoints and export the backbone as qwen3 and the decoder.pth Vocos weights as the mmproj vocab: add the soprano pre-tokenizer (lowercase, whitespace collapse, per-digit split, [UNK] fallback) mtmd: add the Vocos graph and ISTFT, allow loading a gen-only mmproj for Soprano and include the gen-audio context in mtmd_get_memory_usage mtmd-helper: add the Soprano pipeline; the decoder runs over the whole utterance, so stream mode sends the audio in one chunk after flush() tts: document Soprano usage Assisted-by: Codex Assisted-by: Claude Opus 5.5

相關報導

llama.cpp releasesAI 評分29

llama.cpp 發布 b11796，為 mtmd_gen 增加狀態物件

llama.cpp 發布建置版本 b11796，核心改動是為多模態生成介面 mtmd_gen 增加狀態物件（#30902），即把生成狀態獨立管理。該版本照例提供 macOS/iOS、Linux、Android、Windows 的多後端預編譯包，覆蓋 Apple Silicon、CUDA 12/13、Vulkan、ROCm 10.0、OpenVINO、SYCL 與驍龍 CPU/Adreno/Hexagon。

地端推論開源llama.cppmtmdmtmd_gen本地推理版本發布
閱讀原文
llama.cpp releases● 精選AI 評分77

llama.cpp 新增 Muse Spark Open 多模態模型支援

llama.cpp 合併 PR #30616，新增 Muse Spark Open 模型支援，可處理文字、視覺與音訊三種輸入。該模型是 latent space MoE：殘差流保持 8192 維，256 個專家位於 4096 維，經上下投影連線，採用 top-8 sigmoid 路由與修正偏置，注意力為三層 2048 視窗滑窗加一層無 rope 的全域性層。

模型地端推論Muse Spark Openllama.cppMoE多模態本地推理
9 個來源 · 13 則報導閱讀原文