語音基礎模型可直接從語音中檢測語碼轉換
一項新研究提出直接從語音中檢測語碼轉換(同一句話內多語言交替)的輕量方法,不再依賴先把語音轉寫成準確的多語言文字、再在文字中找語言交替。該方法利用預訓練語音基礎模型中的幀級語言資訊。研究動機是多語言語音中語碼轉換常見,但在預訓練語料中覆蓋不足,需要在大型語音集合中定位這類語句,以便納入訓練資料。
依意思最接近的 30 筆
一項新研究提出直接從語音中檢測語碼轉換(同一句話內多語言交替)的輕量方法,不再依賴先把語音轉寫成準確的多語言文字、再在文字中找語言交替。該方法利用預訓練語音基礎模型中的幀級語言資訊。研究動機是多語言語音中語碼轉換常見,但在預訓練語料中覆蓋不足,需要在大型語音集合中定位這類語句,以便納入訓練資料。
企業語音 AI 平台 PolyAI 的 CTO Shawn Wen 在 HumanX 大會上表示,全雙工模型雖已實現,語音 AI 仍未迎來自己的「ChatGPT 時刻」,下一步的關鍵是讓推理足夠快、對話足夠自然。會議記錄工具 Otter 的 CMO Alex Gay 指出,說話人識別、意圖捕捉並與組織知識結合才是自動化的關鍵,Otter 還在研發可代表參會者的數字孿生。兩人都提到 ASR 模型常漏掉關鍵詞,轉寫不準會讓後續動作全部出錯、使用者失去信任;
Mistral AI 公布 Voxtral Small Transcribe 3,稱其在多語言轉寫、說話人分離和上下文偏置三項能力上達到當前最優(state-of-the-art)。該模型能檢測說話人何時結束髮言,使語音 agent 無需等待即可及時回應,面向需要即時語音互動的場景。官方此次只披露能力定位,未公布引數規模、基準分數、價格、許可證或上線時間,也未給出與同類模型的對比結果和開放使用方式。
OpenAI 開發者帳號宣布新增九個語音預設,全部由法語、德語、印地語、日語和韓語的母語演員錄製,覆蓋五種語言。官方同步給出 custom voices 入門指南連結,指向 developers.openai.com 的 API 文件,供開發者瞭解如何開始使用。推文未說明音色名稱、可用模型、價格與開放範圍。
Google DeepMind 宣布 SynthID Detector 現已向所有人開放,可用來判斷網上內容是否由 AI 生成。該工具除 Google AI 外,還支援檢測 OpenAI、NVIDIA、Kakao 等行業夥伴工具生成的內容,Apple 即將加入。使用者可通過 synthid.com 試用。
Mistral 推出 Voxtral 3 語音模型系列,並配套語音 agent SDK,將監聽、推理、工具呼叫和發音整合進一條即時流式處理管線。轉寫模型 Voxtral Small Transcribe 3 支援 50+ 語言、說話人分離和關鍵詞上下文偏置,官方稱它在多語言轉寫與說話人分離基準上優於 Whisper、Scribe v2 和 Gemini 3.5 Transcribe;Mini 版僅有 4B 引數,每分鐘 0.0035 美元。
開源 Agent Development Kit(ADK)搭配 gemini-3.8-live,可以建置在後端長時間查詢時仍保持回應的語音 agent。指南給出兩種 Python 寫法:一是用 streaming tools 持續產出進度更新,二是用後臺執行模式,讓對話在耗時任務進行中保持流暢。開發者還可配置 WHEN_IDLE、INTERRUPT、SILENT 三種回應排程行為,精確控制工具結果何時、以何種方式送回對話。
Mistral 在 Voxtral 3 中附帶發布了語音 agent SDK,底層基於 LiveKit 建置。該 SDK 把語音流程串成一條流式管線:Transcribe 負責收音轉寫,一個推理模型負責思考並呼叫工具,Speech 負責生成回覆,三段串聯以支援自然、即時的語音對話。官方推文只給出這套管線結構,未披露價格、上線時間與語言支援等細節。
Mistral 發布語音合成模型 Voxtral Mini TTS 3,官方稱其在 35 種以上語言和 50 多種方言上達到當前最佳的表達力。模型支援隱式指令跟隨,能從對話內容中讀出情緒、語速與重音;也支援顯式控制,用 [emotion=sad][pace=slow] 這類標籤逐行設定情緒和節奏。
Whistle 是一個 16.9 MB 的單檔案端側語音識別模型,無依賴、在 CPU 上執行,與 Needle 共用同一套 C++ 引擎。它支援英語、德語、法語、西班牙語、義大利語、荷蘭語和波蘭語,單次最多處理 30 秒 16 kHz 單聲道音訊,可自動檢測語種,並輸出逐詞時間戳與語音嵌入。
SpaceXAI 宣布 Grok Voice 3.0 在語音 agent 任務上達到前沿水平,延遲較此前降低 40%。官方給出的落地案例是 SpaceX 內部:該模型能自主處理 70% 的 Starlink 客服來電,無需人工介入。官方本次只披露延遲降幅與自主解決率兩項指標,未說明模型規模、開放渠道、定價與上線時間,也未提供與其他語音模型的對比資料。
阿布扎比技術創新研究院(TII)發布 1.6B 引數的語音識別模型 Falcon-ASR,主打阿拉伯語與阿聯酋方言,同一套權重還支援英語、法語、西班牙語和葡萄牙語。在六個阿拉伯語測試集上,它取得 20.92% 的平均詞錯率,比其所用榜單快照中最佳公開結果 23.17% 低 2.25 個百分點;內部阿聯酋方言評測為 22.73% WER、10.19% CER,比次優的 Qwen3-Omni 低 4.07 個百分點。
Meta Omnilingual ASR 被《時代》評為 2026 年度最佳發明之一。這套模型系列可為 1600 多種語言提供語音識別能力,其中 500 種低覆蓋語言此前從未被任何 ASR 系統支援。Meta 表示,多數 ASR 系統只覆蓋網際網路語料充足的語言,此次發布是邁向通用轉錄系統的重要一步。
Mistral 發布 Voxtral 3,包含 Transcribe 與 Speech 兩類語音模型,官方稱其達到當前最優水平,並用於驅動 Mistral 新的語音智慧體 API。公告以推文執行緒形式給出,未披露模型規模、定價、可用平台與發布時間等細節。
SynthID Detector 是 Google DeepMind 推出的檢測工具,上傳檔案即可判斷其中是否含有 SynthID 數字水印,目前支援圖片、影片、音訊三類內容。該水印由採用 SynthID 的生成式 AI 產品在生成時直接嵌入畫素或音訊頻段,人眼不可見,且能抵抗濾鏡、調色與有失真壓縮等常見改動。它不是通用 AI 檢測器,只能識別 Google、Nvidia、OpenAI、Kakao 等合作方模型產出的內容;
@SpaceXAI 發布語音到語音模型 Grok Voice 3.0,官方稱其為全球最智慧的語音到語音模型。該模型回應時間低於一秒,擅長處理客戶來電,且成本低於其他前沿模型。官方暫未公布具體價格、可用範圍與上線時間。
有人做了一款工具,追蹤 AI 行業領袖在影片中的公開表態,並展示他們觀點隨時間的變化。目前收錄了 Dario Amodei(累計 54 條)、Alex Karp(51 條)、Marc Andreessen(49 條)、Sam Altman(45 條)、Palmer Luckey(40 條)、Satya Nadella(23 條)、Elon Musk(21 條)、Yann LeCun(6 條)等人,頁面同時標註本週新增條數,例如 Alexandr Wang 本週有 5 條。
Google DeepMind 推出 SynthID Detector,可快速識別影片、音訊和影像中的 SynthID 水印,即使內容經過加濾鏡等編輯後依然有效。使用者還可以使用 Google Chrome、Google 搜尋和 Gemini App 中已有的 AI 識別功能。
Mistral AI 上線 Pro Voice 的專業語音適配功能:使用者錄製最長 30 分鐘音訊,即可高保真復刻自己的聲音。官方稱復刻後的音色可在其支援的所有語言中使用,並強調“極高保真度”。公告未披露該功能的開放範圍、訂閱價格與具體上線時間。
前華為小藝多模態大模型研發負責人唐都鈺創辦觀行數智,主攻讓機器自主判斷何時介入的「主動式物理 AI」。團隊採用雙模型協同架構 ProAgent:輕量模型 StreamingJev 持續讀取環境事件流、判斷是否需要介入,Response Model 再決定回應方式與呼叫裝置,並自建評測體系 ProactiveXBench。
OpenAI 一名工程師因涉嫌在公司辦公室內藏匿精密錄音裝置被捕,美國司法部稱其被控使用或試圖使用裝置擷取口頭通訊。涉案員工為 35 歲的沙特籍人士 Abdulrahman Alfozan,裝置被發現插在一間高管辦公室電視的 USB 介面上。OpenAI 表示,公司用自家 AI 模型分析該裝置及其來源,確認是某名員工在幾天前放置的。
Google DeepMind 發布一期播客,討論 AI 生成內容日益逼真後如何驗證內容來自人類、機器還是自然。節目介紹內容溯源的作用,並講解不可感知水印如何保護數字媒體與生物設計,時間軸涵蓋水印概念、SynthID、影像與影片、SynthID Bio 及未來韌性等章節。
聚合五類自動化對手的測試顯示,Proof of Human 檢出 99% 的自動化會話,Cloudflare Bot Management 僅 9.1%,其餘依次為 reCAPTCHA v3 69.4%、hCaptcha 44.3%、Cloudflare Turnstile 42.1%。
OpenAI 為 ChatGPT、Codex 和 dots 的語音功能推送 GPT-Live-1.1,新增法語、德語、印地語、墨西哥西班牙語、韓語和日語的新語音,口音更自然,並減少了「checking...」這類停頓。該更新今日起向所有使用者推送,API 稍後支援。
ElevenLabs 正式上線 OpenRouter,提供 9 個文字轉語音模型和 2 個語音轉文字模型。已通過 OpenRouter 呼叫語言模型的應用,用同一個 OpenRouter API key 呼叫 POST /api/v1/audio/speech 與 POST /api/v1/audio/transcriptions 即可獲得語音能力,無需另購 ElevenLabs 套餐。
Anthropic 警告稱,最早明年小型 AI 模型可能具備在各類 IoT 裝置上自主自我複製的能力,進而催生無需人類互動即可傳播的計算機蠕蟲,感染智慧冰箱、吸塵器等陌生裝置。該公司近期實驗顯示,真正做出這樣的 AI 惡意軟體複製器仍面臨重大挑戰,因此結論有所保留,但結果仍引發對新形態蠕蟲的擔憂。Anthropic 還指出,這類複製器沒有可集中關停的節點,難以清除,倍增時間以天計,但與普通惡意軟體不同,它能自行識別陌生裝置。
從瑞典 KTH 皇家理工學院分拆的 Flox Intelligence,用邊緣 AI 裝置在現場識別靠近鐵路、機場和公路的動物,再播放對應物種的聲音將其驅離,目前約 150 臺裝置已部署在北美、歐洲和澳大利亞。裝置一次性售賣,第一年後按年收取軟體與 AI 訂閱費,並已與列車製造商阿爾斯通等達成 OEM 合作,把軟體裝到車輛上。公司預計 2026 年底營收約 150 萬美元,此前累計融資約 500 萬美元,正啟動 1000 萬美元 A 輪,目標把裝置規模擴到數千臺。
AWS 發布開發工具 TorchNeuron,用 PyTorch 寫的 AI 應用只需改一行配置即可跑在自研晶片 Trainium 上,無需重寫程式碼。AWS 稱約 85% 的 AI 應用基於 PyTorch,熟悉 PyTorch 的開發者可直接上手。亞馬遜還會把解耦 PyTorch 與特定晶片的程式碼回饋上游,推動框架硬體無關;Trainium 兼顧訓練與推理,AWS 強調價效比,語音 AI 公司 Deepgram 遷移後每美元處理音訊量提升 70%。
Flock CEO Garrett Langley 在 TechCrunch Disrupt 臺上稱,公司用於槍聲檢測的麥克風「只聽槍聲」,但官網與公司發言人均表示該音訊系統還能識別煙花、街頭飆車(sideshow)和車禍。Flock 去年推出 Gunshot Detection 時因監聽「尖叫」遭隱私團體批評,官網措辭改為「人類痛苦的聲音」,隨後又向試用客戶撤下該功能。Langley 稱其麥克風數量與 ShotSpotter 相當,後者 2024 年約 2.5 萬個;
Anthropic 週一發布研究報告,稱可自我複製的 AI 蠕蟲可能數月內就具備在 IoT 裝置上擴散的能力。報告稱 90 億引數模型在 9 類硬體中的 8 類上成功部署推理,Gemma4-26B-A4B 分散跑在 15 臺安卓電視盒上僅 0.39 tokens/秒;GLM-5.2 成功向 8 個安卓 15 模擬器節點傳播 Llama3.1-8B,5 次試驗中 4 次全部成功。