2026 年 10 月 20 日,Mistral 在 X 上以推文執行緒發布 Voxtral 3,包含 Transcribe 轉寫與 Speech 語音合成兩類模型,並配套語音 agent SDK,用於驅動其新的語音智慧體 API,官方公告見 mistral.ai/news/voxtral-3。轉寫側的 Voxtral… 看完整事件
@MistralAI: Voxtral 3 also introduces a voice agent SDK, built on LiveKit.
Mistral 在 Voxtral 3 中附帶發布了語音 agent SDK,底層基於 LiveKit 建置。該 SDK 把語音流程串成一條流式管線:Transcribe 負責收音轉寫,一個推理模型負責思考並呼叫工具,Speech 負責生成回覆,三段串聯以支援自然、即時的語音對話。官方推文只給出這套管線結構,未披露價格、上線時間與語言支援等細節。
官方明確了語音 agent 的三段式流式管線分工(轉寫—推理調工具—語音回覆)並選定 LiveKit 作為底座,對正在搭建即時語音助手的開發者有直接參考價值。
原標題:@MistralAI: Voxtral 3 also introduces a voice agent SDK, built on LiveKit.
閱讀原文
| 評分 | 68 / 58(平均 63,門檻 60) |
|---|---|
| 狀態 | 精選 |
相關報導
llama.cpp 新增 mtmd_audio_stream,支援 Voxtral Realtime
llama.cpp 發布 b11675 建置,在 mtmd 多模態工具庫中新增 mtmd_audio_stream 介面,並加入對 Voxtral Realtime 即時音訊模型的支援。
@MistralAI: With Pro Voice, we’re also rolling out professional voice adaptation.
Mistral AI 上線 Pro Voice 的專業語音適配功能:使用者錄製最長 30 分鐘音訊,即可高保真復刻自己的聲音。官方稱復刻後的音色可在其支援的所有語言中使用,並強調“極高保真度”。公告未披露該功能的開放範圍、訂閱價格與具體上線時間。
Grok Voice 3.0 上線 API 與語音 Agent 建置器,每分鐘 0.08 美元
Grok Voice 3.0 即日起在 xAI 的 API 和 Voice Agent Builder 中開放,定價為每分鐘 0.08 美元。開發者可直接通過 API 呼叫該語音模型,或在 Voice Agent Builder 中搭建語音智慧體,詳細說明見 xAI 官方部落格。
ADK 搭配 gemini-3.8-live:非阻塞工具讓語音 agent 長時間查詢不靜默
開源 Agent Development Kit(ADK)搭配 gemini-3.8-live,可以建置在後端長時間查詢時仍保持回應的語音 agent。指南給出兩種 Python 寫法:一是用 streaming tools 持續產出進度更新,二是用後臺執行模式,讓對話在耗時任務進行中保持流暢。開發者還可配置 WHEN_IDLE、INTERRUPT、SILENT 三種回應排程行為,精確控制工具結果何時、以何種方式送回對話。