Gemini 3.8 TTS 新增語音混音,可用自然語言改造音色
Gemini 3.8 TTS 上線語音混音功能,可用自然語言指令修改已有的預置或設計語音,生成一個獨立儲存的新音色。呼叫 POST /v1beta/voices 並指定 gemini-3.8-flash-tts 即可獲得 voice_ 開頭的 ID,也可在 Google AI Studio 裡互動式調整。之後可用 Gemini 3.8 Flash TTS 或 Gemini 3.8 Flash-Lite TTS 合成語音。
依意思最接近的 30 筆
Gemini 3.8 TTS 上線語音混音功能,可用自然語言指令修改已有的預置或設計語音,生成一個獨立儲存的新音色。呼叫 POST /v1beta/voices 並指定 gemini-3.8-flash-tts 即可獲得 voice_ 開頭的 ID,也可在 Google AI Studio 裡互動式調整。之後可用 Gemini 3.8 Flash TTS 或 Gemini 3.8 Flash-Lite TTS 合成語音。
Mistral AI 上線 Pro Voice 的專業語音適配功能:使用者錄製最長 30 分鐘音訊,即可高保真復刻自己的聲音。官方稱復刻後的音色可在其支援的所有語言中使用,並強調“極高保真度”。公告未披露該功能的開放範圍、訂閱價格與具體上線時間。
Mistral 發布語音合成模型 Voxtral Mini TTS 3,官方稱其在 35 種以上語言和 50 多種方言上達到當前最佳的表達力。模型支援隱式指令跟隨,能從對話內容中讀出情緒、語速與重音;也支援顯式控制,用 [emotion=sad][pace=slow] 這類標籤逐行設定情緒和節奏。
OpenAI 開發者帳號宣布新增九個語音預設,全部由法語、德語、印地語、日語和韓語的母語演員錄製,覆蓋五種語言。官方同步給出 custom voices 入門指南連結,指向 developers.openai.com 的 API 文件,供開發者瞭解如何開始使用。推文未說明音色名稱、可用模型、價格與開放範圍。
企業語音 AI 平台 PolyAI 的 CTO Shawn Wen 在 HumanX 大會上表示,全雙工模型雖已實現,語音 AI 仍未迎來自己的「ChatGPT 時刻」,下一步的關鍵是讓推理足夠快、對話足夠自然。會議記錄工具 Otter 的 CMO Alex Gay 指出,說話人識別、意圖捕捉並與組織知識結合才是自動化的關鍵,Otter 還在研發可代表參會者的數字孿生。兩人都提到 ASR 模型常漏掉關鍵詞,轉寫不準會讓後續動作全部出錯、使用者失去信任;
Spotify 週二宣布,過去一年已從使用者推薦中移除超過 5000 萬首被判定為 AI 生成垃圾內容或 spam 的歌曲,並調整推薦系統以突出人類藝術家的音樂。官方稱編輯部不會把被識別為 slop 或 spam 的內容編入推薦,調整後聽眾對此類內容的投訴明顯下降。Spotify 尚未強制要求所有 AI 曲目標註,但已推出「AI Persona」徽章。
Mistral AI 公布 Voxtral Small Transcribe 3,稱其在多語言轉寫、說話人分離和上下文偏置三項能力上達到當前最優(state-of-the-art)。該模型能檢測說話人何時結束髮言,使語音 agent 無需等待即可及時回應,面向需要即時語音互動的場景。官方此次只披露能力定位,未公布引數規模、基準分數、價格、許可證或上線時間,也未給出與同類模型的對比結果和開放使用方式。
llama.cpp 建置 b12097 在 mtmd 多模態模組中新增 Chatterbox TTS 語音合成支援,並帶有內建音色支援,改動來自合併的 PR #30993,Hugging Face 的 Sigbjørn Skjæret 等人參與評審。
BBC 報導稱,AI 生成內容激增正催生所謂「人類溢價」,即人們更看重由人創作的藝術。音樂平台 Deezer 表示,其上傳曲目中 44% 由 AI 生成,調查顯示 97% 的聽眾無法分辨 AI 與人類作品,但超過半數受訪者仍在意創作者是不是人。學界正推動設立類似「公平貿易」的「人類製造」統一標識,已有書籍、電影和專輯封面標註「AI-free」。
llama.cpp 建置 b12061 為 Kyutai 的 pocket-tts 模型加入免克隆的預置音色支援,使用者不必提供參考音訊即可選音色。轉換指令碼把官方權重中的音色狀態還原成提示嵌入並寫入 mmproj,服務端在 GET /props 的 voices 欄位列出可用音色,/tts 的 voice 欄位與 --tts-voice 引數用於選擇。未指定音色時預設取第一個預置音色,否則輸出近乎靜音;
SpaceXAI 宣布 Grok Voice 3.0 在語音 agent 任務上達到前沿水平,延遲較此前降低 40%。官方給出的落地案例是 SpaceX 內部:該模型能自主處理 70% 的 Starlink 客服來電,無需人工介入。官方本次只披露延遲降幅與自主解決率兩項指標,未說明模型規模、開放渠道、定價與上線時間,也未提供與其他語音模型的對比資料。
Splice CEO Kakul Srivastava 認為 AI 生成的郵件正在扼殺對話。她曾任職於 Flickr、Yahoo、GitHub 和 Adobe,目前執掌為音樂製作人提供取樣素材的 Splice,該平台的取樣曾出現在 Lisa 的《Money》和 Sabrina Carpenter 的《Espresso》等熱門歌曲中。她還主導了 Splice 收購 Spitfire Audio 並推動平台向新領域拓展。
Swift 包 AnySpeechRecognizer 發布,沿用 Apple SpeechAnalyzer 介面但可替換引擎,在裝置端用 Core ML 跑 NVIDIA Parakeet 與阿里 Qwen3-ASR,並新增說話人分離。Qwen3-ASR 覆蓋 30 種語言與 22 種中文方言(含粵語),但每段只給一個最終結果、無逐詞時間戳,速度慢於 Parakeet,更適合轉寫檔案。
Retell AI 用 OpenAI 模型驅動其客服語音 agent,月通話量從 2026 年初的 3000 萬增至 9 月的 1 億通以上,其中 80% 通話由 OpenAI 模型生成回覆,累計消耗超 1 萬億 token。在 10 月 13 日的 vCX 基準中,GPT-6 Astra 以 89.7% 指令遵循率排名第一;發布前評測顯示 GPT-5.5 非幻覺率 88.0%、工具呼叫正確率 88.3%,均高於 Gemini-3.1-Pro 與 Claude-4.6。
Mistral 推出 Voxtral 3 語音模型系列,並配套語音 agent SDK,將監聽、推理、工具呼叫和發音整合進一條即時流式處理管線。轉寫模型 Voxtral Small Transcribe 3 支援 50+ 語言、說話人分離和關鍵詞上下文偏置,官方稱它在多語言轉寫與說話人分離基準上優於 Whisper、Scribe v2 和 Gemini 3.5 Transcribe;Mini 版僅有 4B 引數,每分鐘 0.0035 美元。
v0.40.9-rc3 將 Gradium Phonon 的預發布檢查點路徑替換為 GA 正式格式,並加入預設音色匯入與語音條件控制。該版本把最低版本要求設為 0.40.9,更新語音文件,並測試匯入、推理配置以及拒絕舊檢查點。
Ollama 0.40.11 起可直接執行語音模型,首個是 Gradium 的文字轉語音模型 Phonon,目前僅支援 Apple Silicon 的 Mac,Windows 與 Linux 稍後推出。在 M5 Max 的 MacBook Pro 上,其速度比 Gradium 自家執行時快 35%,詞錯率與 Hugging Face Transformers 參考實現持平;可用 --voice 選音色,另有法、德、西、葡等 40M 多語言版本。
Napster 聯合創始人 Sean Parker 正把 Stability AI 重塑為面向音樂專業人士的 AI 工具公司。兩年前他參與 8000 萬美元救助這家瀕臨崩潰的影像生成初創公司,如今與 CEO Prem Akkaraju 公布新方向。8 月底公司宣布獲得 7600 萬美元融資,投資方包括索尼、華納和環球,三家還授權曲庫用於訓練。
Mistral 在 Voxtral 3 中附帶發布了語音 agent SDK,底層基於 LiveKit 建置。該 SDK 把語音流程串成一條流式管線:Transcribe 負責收音轉寫,一個推理模型負責思考並呼叫工具,Speech 負責生成回覆,三段串聯以支援自然、即時的語音對話。官方推文只給出這套管線結構,未披露價格、上線時間與語言支援等細節。
OpenAI 兩名團隊成員用 GPT-6 Astra,在不到一週內以副業專案的形式設計出一款用於與 Codex 對話的原型裝置。Astra 負責外殼、電路板、介面和軟體的全部設計,但要把原型真正製造出來,仍需經過多輪評審與迭代。
一名獨立開發者用 Claude Opus 智慧體(Claude Code)配合 Remotion 製作了 Mac 應用 Tack+ 的發布影片,全部內容由程式碼生成,未使用 After Effects、素材庫或授權音樂。影片時長 45 秒、60 fps,輸出 1080p 與 4K,含法語和英語版本;MacBook 用 CSS 3D 搭建,卡片為應用真實渲染,配樂也逐音符合成。
Google 週二上線 SynthID 驗證網站,任何人可上傳圖片、影片或音訊,檢查是否為 AI 生成。該工具此前只向部分記者、媒體從業者和研究人員開放測試,現已全面開放,支援 JPG、PNG、HEIC、MP4、MP3、WAV 等十餘種格式。SynthID 自 2023 年推出,Google 的 Nano Banana、Veo、Lyria 模型以及 Gemini、Flow、Vids 等生成工具都會為產出加水印,OpenAI、Nvidia、Kakao 也已支援。
YouTube 開始為經 AI「改動或完全生成」的歌曲加上「Made with AI」標籤,即日起上線,做法與其現有的影片 AI 標籤一致。該標籤並非覆蓋音樂製作中的所有 AI 用途,官方舉例包括用生成模型創作作曲與人聲。上傳歌曲的音樂合作伙伴需按規則披露生成式 AI 使用;若未披露,YouTube 稱可能借助「其他訊號」判斷歌曲是否為 AI 生成。
llama.cpp 的 server 在 b11781 建置中加入 POST /tts 端點,可直接為 TTS 模型提供語音合成服務。該端點支援通過 form-data 上傳 speaker_ref 參考音色、向 API 暴露 seed,並補齊 /tts 的路由、文件與 server_schema;mtmd 同時新增音訊輸出流 API。
Meta Omnilingual ASR 被《時代》評為 2026 年度最佳發明之一。這套模型系列可為 1600 多種語言提供語音識別能力,其中 500 種低覆蓋語言此前從未被任何 ASR 系統支援。Meta 表示,多數 ASR 系統只覆蓋網際網路語料充足的語言,此次發布是邁向通用轉錄系統的重要一步。
Google DeepMind 發布世界模型 Genie 4,支援用鍵盤操控角色與鏡頭,並用自然語言即時改變天氣、新增物體,是該系列首個原生生成即時音訊的版本。Gemini 深度參與模擬:Gemini Omni 提供真實世界視覺與行為知識,Gemini 3.8 Flash 負責拆解任務、逐步檢查並調整計劃,Google 稱這一方向為混合世界模型。
Deezer 正在開發一個可過濾 AI 生成音樂的開關,預計今年年底前上線,開啟後搜尋結果中不再出現 AI 生成的曲目、專輯和相關藝人。CEO Alexis Lanternier 稱平台上 AI 音樂的激增是推出該功能的原因之一,去年一項調查顯示約 45% 的 Deezer 使用者希望從資訊流中移除 AI 音樂。Deezer 去年已加入 AI 檢測工具,7 月稱其平台每日上傳中 AI 曲目佔比超過 50%,日均約 9 萬首,而此前這一比例為 10%。
LM Studio 推出 Read Aloud 朗讀功能,由本地小型 TTS 模型驅動。該模型是 GradiumAI 的 Phonon,語音合成在本地完成。官方目前只公布了模型來源,未說明支援的語言、平台、音色數量或可調引數。
Anthropic 前沿紅隊發布研究,測試 AI 能否像計算機病毒一樣在不同裝置間自主複製傳播。實驗中 15 臺約 55 美元、4GB 記憶體的安卓電視盒子以流水線並行跑起 Gemma4-26B-A4B,總價約 825 美元,生成速度僅每秒 0.39 個 Token。GLM-5.2 在 8 節點模擬網路中 5 次有 4 次傳播到全部節點,但依賴外部推理伺服器與預開的免認證 ADB 埠;
Hurston-1 以 Apache-2.0 協議開源,這是一個基於 Maya1 微調的窄帶 TTS 模型,主攻美國英語,尤其是南方口音與地區非裔英語,輸出面向電話場景。作者從 2 萬多人處收集了 1800 小時授權語音,本次只取其中 136 小時用於微調。據作者說明,該模型不支援聲音克隆,跨 prompt 的音色也無法保持一致;它已用於 Amazon、Salesforce 等客戶,累計帶來超過 50 萬美元收入。