b11850: mtmd : add Soprano TTS support (#28607)
llama.cpp 的 mtmd 模組新增 Soprano TTS 支援,可在本地執行 80M 引數的語音生成模型 Soprano-80M 與 Soprano-1.1-80M。該模型由 Qwen3 主幹加 Vocos 解碼器組成,以僅支援生成的 mmproj 形式載入;
依意思最接近的 30 筆
llama.cpp 的 mtmd 模組新增 Soprano TTS 支援,可在本地執行 80M 引數的語音生成模型 Soprano-80M 與 Soprano-1.1-80M。該模型由 Qwen3 主幹加 Vocos 解碼器組成,以僅支援生成的 mmproj 形式載入;
llama.cpp 的 server 在 b11781 建置中加入 POST /tts 端點,可直接為 TTS 模型提供語音合成服務。該端點支援通過 form-data 上傳 speaker_ref 參考音色、向 API 暴露 seed,並補齊 /tts 的路由、文件與 server_schema;mtmd 同時新增音訊輸出流 API。
Mistral 發布語音合成模型 Voxtral Mini TTS 3,官方稱其在 35 種以上語言和 50 多種方言上達到當前最佳的表達力。模型支援隱式指令跟隨,能從對話內容中讀出情緒、語速與重音;也支援顯式控制,用 [emotion=sad][pace=slow] 這類標籤逐行設定情緒和節奏。
OpenAI 開發者帳號宣布新增九個語音預設,全部由法語、德語、印地語、日語和韓語的母語演員錄製,覆蓋五種語言。官方同步給出 custom voices 入門指南連結,指向 developers.openai.com 的 API 文件,供開發者瞭解如何開始使用。推文未說明音色名稱、可用模型、價格與開放範圍。
Spotify 週二宣布,過去一年已從使用者推薦中移除超過 5000 萬首被判定為 AI 生成垃圾內容或 spam 的歌曲,並調整推薦系統以突出人類藝術家的音樂。官方稱編輯部不會把被識別為 slop 或 spam 的內容編入推薦,調整後聽眾對此類內容的投訴明顯下降。Spotify 尚未強制要求所有 AI 曲目標註,但已推出「AI Persona」徽章。
Meta Omnilingual ASR 被《時代》評為 2026 年度最佳發明之一。這套模型系列可為 1600 多種語言提供語音識別能力,其中 500 種低覆蓋語言此前從未被任何 ASR 系統支援。Meta 表示,多數 ASR 系統只覆蓋網際網路語料充足的語言,此次發布是邁向通用轉錄系統的重要一步。
Mistral AI 公布 Voxtral Small Transcribe 3,稱其在多語言轉寫、說話人分離和上下文偏置三項能力上達到當前最優(state-of-the-art)。該模型能檢測說話人何時結束髮言,使語音 agent 無需等待即可及時回應,面向需要即時語音互動的場景。官方此次只披露能力定位,未公布引數規模、基準分數、價格、許可證或上線時間,也未給出與同類模型的對比結果和開放使用方式。
川普推動把「人工智慧」改名為「超級智慧」,矽谷部分有影響力的人物正在跟進。馬斯克在川普表態數小時後即表示支援,並承諾把 SpaceXAI 更名為 SpaceXSI,是回應最快的一位。不過大眾仍普遍沿用 AI 這一說法。川普稱白宮認為「超級智慧」是更被接受、更準確的新術語。
SpaceXAI 宣布 Grok Voice 3.0 在語音 agent 任務上達到前沿水平,延遲較此前降低 40%。官方給出的落地案例是 SpaceX 內部:該模型能自主處理 70% 的 Starlink 客服來電,無需人工介入。官方本次只披露延遲降幅與自主解決率兩項指標,未說明模型規模、開放渠道、定價與上線時間,也未提供與其他語音模型的對比資料。
Splice CEO Kakul Srivastava 認為 AI 生成的郵件正在扼殺對話。她曾任職於 Flickr、Yahoo、GitHub 和 Adobe,目前執掌為音樂製作人提供取樣素材的 Splice,該平台的取樣曾出現在 Lisa 的《Money》和 Sabrina Carpenter 的《Espresso》等熱門歌曲中。她還主導了 Splice 收購 Spitfire Audio 並推動平台向新領域拓展。
企業語音 AI 平台 PolyAI 的 CTO Shawn Wen 在 HumanX 大會上表示,全雙工模型雖已實現,語音 AI 仍未迎來自己的「ChatGPT 時刻」,下一步的關鍵是讓推理足夠快、對話足夠自然。會議記錄工具 Otter 的 CMO Alex Gay 指出,說話人識別、意圖捕捉並與組織知識結合才是自動化的關鍵,Otter 還在研發可代表參會者的數字孿生。兩人都提到 ASR 模型常漏掉關鍵詞,轉寫不準會讓後續動作全部出錯、使用者失去信任;
Spotify 在第三季度財報會上稱,目標是成為 AI agent 首選的音樂服務,使用者可通過 ChatGPT、Claude 或 Meta 的 Muse 助手直接讓它選歌建歌單。Spotify 稱自己是首個接入 Meta Muse 的音樂服務,並強調不向合作方開放收聽資料:由 agent 提出請求,Spotify 用自己的系統推理選曲。該季度月活達 7.88 億、營收近 50 億歐元(約 56 億美元);
阿布扎比技術創新研究院(TII)發布 1.6B 引數的語音識別模型 Falcon-ASR,主打阿拉伯語與阿聯酋方言,同一套權重還支援英語、法語、西班牙語和葡萄牙語。在六個阿拉伯語測試集上,它取得 20.92% 的平均詞錯率,比其所用榜單快照中最佳公開結果 23.17% 低 2.25 個百分點;內部阿聯酋方言評測為 22.73% WER、10.19% CER,比次優的 Qwen3-Omni 低 4.07 個百分點。
Mistral 推出 Voxtral 3 語音模型系列,並配套語音 agent SDK,將監聽、推理、工具呼叫和發音整合進一條即時流式處理管線。轉寫模型 Voxtral Small Transcribe 3 支援 50+ 語言、說話人分離和關鍵詞上下文偏置,官方稱它在多語言轉寫與說話人分離基準上優於 Whisper、Scribe v2 和 Gemini 3.5 Transcribe;Mini 版僅有 4B 引數,每分鐘 0.0035 美元。
Mistral AI 上線 Pro Voice 的專業語音適配功能:使用者錄製最長 30 分鐘音訊,即可高保真復刻自己的聲音。官方稱復刻後的音色可在其支援的所有語言中使用,並強調“極高保真度”。公告未披露該功能的開放範圍、訂閱價格與具體上線時間。
過去幾週,川普試圖給人工智慧改寫稱呼:把 artificial 變成貶義標籤,把他希望加速發展的技術稱為 super,並把反對者稱作 THE ENEMY,一些 AI 界知名人物已跟隨這一說法。他此前曾靠 Little Marco、Crooked Hillary 等綽號打擊對手,並把 fake news 變成對整個媒體的貶稱。The Verge 的報導認為,這次改名嘗試看上去相當做作,在語言上難以成立。
LLM 從零將 TypeScript 編譯器移植為 Rust 版 tsc-rs 併發布,Claude Opus 5.5 用兩週、約 24,047 美元 API 費用完成;此前用 OpenAI 的 GPT-5.6 Sol 與 GPT 6 Astra 花掉逾 40 萬美元仍未突破約 84% 相容度。
ttok 1.0 發布,預設分詞器從 GPT-4 改為 GPT-5/GPT-6。OpenAI 尚未官方確認 GPT-6 沿用 GPT-5 系列的分詞器,但 William Liu 的實驗顯示,5.5、5.6 Sol/Terra/Luna 與 6 Astra/Sol/Luna 這七個 GPT 模型在 31 個樣本上 token 數完全一致,均為 44,794,GPT-6 在這批語料上沒有增加輸入 token。
開發者 Saarth 發布免費開源的 macOS 語音助手 Atticus:按住 Control-Option-Space 說出或輸入任務,開啟應用、播放 Spotify 歌單、網頁搜尋等簡單操作完全本地處理,通常一秒內完成,開啟應用約 0.08 秒;複雜任務則通過 claude -p 轉交 Claude,因此不需要 API key,直接用已有的 Claude Pro 或 Max 訂閱,平均單個任務成本不到一美分。
Napster 聯合創始人 Sean Parker 正把 Stability AI 重塑為面向音樂專業人士的 AI 工具公司。兩年前他參與 8000 萬美元救助這家瀕臨崩潰的影像生成初創公司,如今與 CEO Prem Akkaraju 公布新方向。8 月底公司宣布獲得 7600 萬美元融資,投資方包括索尼、華納和環球,三家還授權曲庫用於訓練。
美國總統川普本週召集扎克伯格、貝索斯、馬斯克、Dario Amodei 等 AI 高管,簽署《前沿責任聯合承諾》,並以行政令方式將官方用語從「人工智慧」改為「超級智慧」。該承諾完全自願、不具法律約束力,川普稱其「道德上有約束力」,協議文字還把 United States 拼錯。播客嘉賓認為這更像一次 AI 的重新包裝,而非實質監管。
IBM 發布 Granite Speech 5.0 三項更新,其中全新的 granite-speech-5.0-2b 與上一代引數規模相同,均為 2B,支援英語、法語、德語、西班牙語、葡萄牙語和日語轉寫,並支援這些語言與英語互譯,還可英譯義大利語和普通話。
@SpaceXAI 發布語音到語音模型 Grok Voice 3.0,官方稱其為全球最智慧的語音到語音模型。該模型回應時間低於一秒,擅長處理客戶來電,且成本低於其他前沿模型。官方暫未公布具體價格、可用範圍與上線時間。
LM Studio 推出 Read Aloud 朗讀功能,由本地小型 TTS 模型驅動。該模型是 GradiumAI 的 Phonon,語音合成在本地完成。官方目前只公布了模型來源,未說明支援的語言、平台、音色數量或可調引數。
OpenAI 為 ChatGPT、Codex 和 dots 的語音功能推送 GPT-Live-1.1,新增法語、德語、印地語、墨西哥西班牙語、韓語和日語的新語音,口音更自然,並減少了「checking...」這類停頓。該更新今日起向所有使用者推送,API 稍後支援。
BBC 報導稱,AI 生成內容激增正催生所謂「人類溢價」,即人們更看重由人創作的藝術。音樂平台 Deezer 表示,其上傳曲目中 44% 由 AI 生成,調查顯示 97% 的聽眾無法分辨 AI 與人類作品,但超過半數受訪者仍在意創作者是不是人。學界正推動設立類似「公平貿易」的「人類製造」統一標識,已有書籍、電影和專輯封面標註「AI-free」。
Google 週二上線 SynthID 驗證網站,任何人可上傳圖片、影片或音訊,檢查是否為 AI 生成。該工具此前只向部分記者、媒體從業者和研究人員開放測試,現已全面開放,支援 JPG、PNG、HEIC、MP4、MP3、WAV 等十餘種格式。SynthID 自 2023 年推出,Google 的 Nano Banana、Veo、Lyria 模型以及 Gemini、Flow、Vids 等生成工具都會為產出加水印,OpenAI、Nvidia、Kakao 也已支援。
Mistral 發布 Voxtral 3,包含 Transcribe 與 Speech 兩類語音模型,官方稱其達到當前最優水平,並用於驅動 Mistral 新的語音智慧體 API。公告以推文執行緒形式給出,未披露模型規模、定價、可用平台與發布時間等細節。
OpenAI CEO Sam Altman 在 2026 年 10 月 1 日發帖表示,使用者應當能夠在任何需要的地方使用自己的 AI 訂閱。該表態未說明具體產品、實施方式或時間表,也未提及是否涉及跨平台或第三方應用。
ElevenLabs 正式上線 OpenRouter,提供 9 個文字轉語音模型和 2 個語音轉文字模型。已通過 OpenRouter 呼叫語言模型的應用,用同一個 OpenRouter API key 呼叫 POST /api/v1/audio/speech 與 POST /api/v1/audio/transcriptions 即可獲得語音能力,無需另購 ElevenLabs 套餐。