llama.cpp 支援 Pocket TTS 預置音色，無需音色克隆
llama.cpp 建置 b12061 為 Kyutai 的 pocket-tts 模型加入免克隆的預置音色支援，使用者不必提供參考音訊即可選音色。轉換指令碼把官方權重中的音色狀態還原成提示嵌入並寫入 mmproj，服務端在 GET /props 的 voices 欄位列出可用音色，/tts 的 voice 欄位與 --tts-voice 引數用於選擇。未指定音色時預設取第一個預置音色，否則輸出近乎靜音；
llama.cpp 為 Pocket TTS 補上免克隆預置音色的完整鏈路，從權重轉換、/props 列舉到預設音色兜底與 400 報錯，本地跑語音合成的人可按名字直接選音色。
原標題：b12061
閱讀原文
| 評分 | 58 / 64（平均 61，門檻 60） |
|---|---|
| 狀態 | 精選 |
全文翻譯
mtmd：Pocket tts - 支援無聲音克隆的語音（#31429）
feat：支援無聲音克隆的 PocketTTS 語音
kyutai/pocket-tts-without-voice-cloning 權重將預定義語音作為語音提示之後的主幹 KV 狀態提供。轉換器將每個狀態轉回提示嵌入並儲存在 mmproj（voice.）中，置零的語音編碼器被排除在外，/tts 的“voice”欄位和 --tts-voice 從中選擇一個。當模型沒有語音編碼器時，說話人參考會被拒絕。
Assisted-by：Claude Fable 5.1
convert：pocket-tts 語音永遠不會導致轉換失敗，記錄狀態的漂移
Kyutai 提供的語音狀態並不總是該包權重針對提示所給出的狀態：義大利語、德語和西班牙語在 bf16 舍入範圍內匹配，english_2026-04 偏差 2%，法語偏差 20%（其第 0 層狀態來自其他權重），而參考實現按原樣載入它們，聽起來仍然是相同的聲音。轉換器現在用恢復的嵌入重新提示主幹，比較整個狀態並記錄每個語音的距離，超過 5% 時發出警告。完全不屬於該權重的狀態會被跳過，因此 kyutai/pocket-tts 的包也能轉換。
Assisted-by：Claude Fable 5.1
mtmd：列出預定義語音，在 GET /props 中暴露它們
mtmd_gen_audio_info 新增 n_voices，mtmd_gen_audio_voice_name() 提供名稱，語音被表述為任何音訊生成模型的一項特性。當模型自帶語音時，伺服器在 /props 的“voices”下列出它們。
Assisted-by：Claude Fable 5.1
server：未知語音屬於錯誤請求
帶有預定義語音的模型會返回 400 並指明該語音，而不是 500“failed to process TTS prompt”。沒有預定義語音的模型會忽略“voice”並給出警告，與其他音訊生成模型的做法相同。
Assisted-by：Claude Fable 5.1
refactor api
fix conversion
small renaming
fix lint
tts：帶有預定義語音的模型預設使用第一個語音發聲
沒有語音提示時，此類模型只會產生近乎靜音的輸出。當既未給出語音也未給出說話人參考時，llama-tts 和伺服器現在採用第一個預定義語音並在日誌中說明，正如 LFM3-Audio 模板對其預設語音所做的那樣。
Assisted-by：Claude Fable 5.1
mtmd：每個語音訪問器一條註釋，轉換器僅陳述規則
clip.h 的註釋描述的是 clip_gen_get_voice，卻位於所有三個之上
函式；轉換器註釋引用了按包測得的漂移，而該漂移會在下一次上傳權重時過時。
協助者：Claude Fable 5.1
清理冗餘程式碼和註釋
mtmd：以不區分大小寫的方式匹配 LFM3-Audio 語音名稱
tts 聊天模板會將語音名稱轉為小寫，因此 Male 會用男聲說話；語音查詢也以相同方式將其轉為小寫，並以規範語音命名點陣圖。
共同作者：Xuan Son Nguyen [email protected]
共同作者：Pascal [email protected]
網站：
https://llama.app
證明：
https://github.com/ggml-org/llama.cpp/attestations/62875624
macOS/iOS：
- macOS Apple Silicon（arm64）
- macOS Apple Silicon（arm64，啟用 KleidiAI）已停用
- macOS Intel（x64）
- iOS XCFramework
Linux：
- Ubuntu x64（CPU）
- Ubuntu arm64（CPU）
- Ubuntu s390x（CPU）
- Ubuntu 26.04 s390x（CPU）
- Ubuntu 26.04 s390x（zDNN）
- Ubuntu x64（Vulkan）
- Ubuntu arm64（Vulkan）
- Ubuntu x64（CUDA 12）- CUDA 12.8 庫
- Ubuntu x64（CUDA 13）- CUDA 13.4 庫
- Ubuntu arm64（CUDA 13）- CUDA 13.4 庫
- Ubuntu x64（ROCm 10.0）
- Ubuntu x64（OpenVINO）
- Ubuntu x64（SYCL FP32）
- Ubuntu x64（SYCL FP16）
- Linux arm64（Snapdragon：CPU、Adreno GPU、Hexagon NPU）- 設定指南
Android：
- Android arm64（CPU）
- Android arm64（Snapdragon：CPU、Adreno GPU、Hexagon NPU）- 設定指南
Windows：
- Windows x64（CPU）
- Windows arm64（CPU）
- Windows arm64（OpenCL Adreno）
- Windows x64（CUDA 12）- CUDA 12.4 DLLs
- Windows x64（CUDA 13）- CUDA 13.4 DLLs
- Windows arm64（CUDA 13）- CUDA 13.4 DLLs
- Windows x64（Vulkan）
- Windows arm64（Vulkan）
- Windows x64（OpenVINO）
- Windows x64（SYCL）
- Windows x64（ROCm 10.0）
openEuler：
- 已停用
- openEuler x86（310p）
- openEuler x86（910b，ACL Graph）
- openEuler aarch64（310p）
- openEuler aarch64（910b，ACL Graph）
UI：
- UI
由 AI 翻譯，以原文為準。
原文
mtmd: Pocket tts - support for voices without voice cloning ( #31429 )
feat: support PocketTTS voices with no voice cloning
The kyutai/pocket-tts-without-voice-cloning weights ship predefined voices as the
backbone KV state after the voice prompt. The converter turns each state back into
the prompt embeddings and stores them in the mmproj (voice.), the zeroed voice
encoder is left out, and the "voice" field of /tts and --tts-voice select one of them.
A speaker reference is rejected when the model has no voice encoder.
Assisted-by: Claude Fable 5.1
convert : pocket-tts voices never fail the conversion, log the drift of the state
The voice states shipped by Kyutai are not always the ones the pack's
weights give for the prompt: italian, german and spanish match within the
bf16 rounding, english_2026-04 is 2% off and french 20% (its layer 0 state
comes from other weights), while the reference loads them as is and they
still sound like the same voice. The converter now re-prompts the backbone
with the recovered embeddings, compares the whole state and logs the
distance per voice, warning above 5%. A state that does not belong to the
weights at all is skipped, so the packs of kyutai/pocket-tts convert too.
Assisted-by: Claude Fable 5.1
mtmd : list the predefined voices, expose them in GET /props
mtmd_gen_audio_info gains n_voices and mtmd_gen_audio_voice_name() the
names, with the voices worded as a feature of any audio generation model.
The server lists them under "voices" in /props when the model ships some.
Assisted-by: Claude Fable 5.1
server : an unknown voice is a bad request
A model with predefined voices answers 400 naming the voice instead of 500
"failed to process TTS prompt". A model without them ignores "voice" with a
warning, as the other audio generation models do.
Assisted-by: Claude Fable 5.1
refactor api
fix conversion
small renaming
fix lint
tts : a model with predefined voices speaks with the first one by default
Without a voice prompt such a model only produces near silence. When neither
a voice nor a speaker reference is given, llama-tts and the server now take
the first predefined voice and say so in the log, as the LFM3-Audio template
does with its default voice.
Assisted-by: Claude Fable 5.1
mtmd : one comment per voice accessor, converter states the rule only
The clip.h comment described clip_gen_get_voice but sat above all three
functions; the converter comment quoted the drift measured per pack, which
goes stale with the next upload of the weights.
Assisted-by: Claude Fable 5.1
clean up redundant code and comments
mtmd: match the LFM3-Audio voice name case-insensitively
The tts chat template lowers the voice name, so Male speaks with
the male voice; the voice lookup lowers it the same way and names the
bitmap after the canonical voice.
Co-authored-by: Xuan Son Nguyen [email protected]
Co-authored-by: Pascal [email protected]
Website:
https://llama.app
Attestations:
https://github.com/ggml-org/llama.cpp/attestations/62875624
macOS/iOS:
macOS Apple Silicon (arm64)
macOS Apple Silicon (arm64, KleidiAI enabled) DISABLED
macOS Intel (x64)
iOS XCFramework
Linux:
Ubuntu x64 (CPU)
Ubuntu arm64 (CPU)
Ubuntu s390x (CPU)
Ubuntu 26.04 s390x (CPU)
Ubuntu 26.04 s390x (zDNN)
Ubuntu x64 (Vulkan)
Ubuntu arm64 (Vulkan)
Ubuntu x64 (CUDA 12) - CUDA 12.8 libraries
Ubuntu x64 (CUDA 13) - CUDA 13.4 libraries
Ubuntu arm64 (CUDA 13) - CUDA 13.4 libraries
Ubuntu x64 (ROCm 10.0)
Ubuntu x64 (OpenVINO)
Ubuntu x64 (SYCL FP32)
Ubuntu x64 (SYCL FP16)
Linux arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide
Android:
Android arm64 (CPU)
Android arm64 (Snapdragon: CPU, Adreno GPU, Hexagon NPU) - setup guide
Windows:
Windows x64 (CPU)
Windows arm64 (CPU)
Windows arm64 (OpenCL Adreno)
Windows x64 (CUDA 12) - CUDA 12.4 DLLs
Windows x64 (CUDA 13) - CUDA 13.4 DLLs
Windows arm64 (CUDA 13) - CUDA 13.4 DLLs
Windows x64 (Vulkan)
Windows arm64 (Vulkan)
Windows x64 (OpenVINO)
Windows x64 (SYCL)
Windows x64 (ROCm 10.0)
openEuler:
DISABLED
openEuler x86 (310p)
openEuler x86 (910b, ACL Graph)
openEuler aarch64 (310p)
openEuler aarch64 (910b, ACL Graph)
UI:
UI
相關報導
llama.cpp releases● 精選AI 評分73
llama.cpp server 新增 /tts 語音合成介面
llama.cpp 的 server 在 b11781 建置中加入 POST /tts 端點，可直接為 TTS 模型提供語音合成服務。該端點支援通過 form-data 上傳 speaker_ref 參考音色、向 API 暴露 seed，並補齊 /tts 的路由、文件與 server_schema；mtmd 同時新增音訊輸出流 API。
llama.cpp releases● 精選AI 評分60
llama.cpp 新增 LiquidAI LFM3-Audio 與 LFM3-Omni 2B 支援
llama.cpp 已合併對 LiquidAI LFM3-Audio-2B 與 LFM3-Omni-2B 兩個音訊模型的支援。轉換指令碼改為按模型自帶的 config.json 讀取，並按 model_type 自動識別；LFM3-Audio 的 depthformer 關閉 flash attention，編碼器卷積與 codec 保持不量化。
llama.cpp releases● 精選AI 評分83
llama.cpp v0.8.0 支援 LFM3 全模態與即時語音端點
llama.cpp 發布 v0.8.0，新增 LiquidAI LFM3 模型家族，包括文字 LFM3-1.7B、視覺 LFM3-VL-2B、音訊 LFM3-Audio-2B 與 LFM3-Omni-2B，並配套實驗性流式音訊輸入 API。服務端新增 /v1/realtime 端點，實現 OpenAI realtime 協議，用於即時對話與轉寫，另有 POST /tts 文字轉語音端點，推理努力等級也可通過 API 選擇。
X @OpenAIDevsAI 評分30
GPT-Live-1 可用提示詞定製音色並新增國際預設音色
OpenAI 開發者帳號 @OpenAIDevs 發布指引，介紹如何為基於 GPT-Live-1 建置的應用配上合適的音色：既可以用提示詞來塑造聲音，也可以從新增的國際預設音色中直接挑選。內容面向做語音應用的開發者，屬於簡短的功能提示，未披露模型細節、定價或可用時間。
llama.cpp releases● 精選AI 評分76
llama.cpp 在 mtmd 中支援 Soprano TTS 語音模型
llama.cpp 合併 PR #28607，在 mtmd 中加入 Soprano TTS 語音生成支援，可載入 Soprano-80M 與 Soprano-1.1-80M。兩個模型均為 Qwen3 主幹加 Vocos 解碼器：轉換指令碼可自動識別 checkpoint，把主幹匯出為 qwen3、把 decoder.pth 匯出為 mmproj，同時新增 Soprano 預分詞器（小寫、空白摺疊、逐數字切分、[UNK] 兜底）與 Vocos 計算圖和 ISTFT。