輝達開源 Nemotron 3.5 Transcribe:轉寫、說話人分離與翻譯合一
輝達發布開放權重模型 Nemotron 3.5 Transcribe,用同一個 checkpoint 同時完成轉寫、說話人分離、翻譯與音訊問答,已在 Hugging Face 和 ModelScope 上線。它支援 40 種語言轉寫、31 種語言與英語互譯、13 種語言的說話人區分,可處理最長 1 小時錄音、標註最多 8 位說話人,並支援用自然語言提示控制輸出格式與專業術語。
依意思最接近的 30 筆
輝達發布開放權重模型 Nemotron 3.5 Transcribe,用同一個 checkpoint 同時完成轉寫、說話人分離、翻譯與音訊問答,已在 Hugging Face 和 ModelScope 上線。它支援 40 種語言轉寫、31 種語言與英語互譯、13 種語言的說話人區分,可處理最長 1 小時錄音、標註最多 8 位說話人,並支援用自然語言提示控制輸出格式與專業術語。
輝達發布免費開源權重語音轉寫模型 Nemotron 3.5 Transcribe,支援最多 40 種語言,可處理長達一小時的錄音、區分最多 8 位說話人,並能在 31 種語言與英語之間互譯。該模型為 300 億引數,官方稱可執行在單顆晶片上,涵蓋 Jetson AGX Thor、DGX Spark 與 Blackwell 資料中心晶片;同期還發布了開源語音資料集 Granary 第二版。主要限制是只能處理已錄製音訊,不支援即時直播流。
Lont 以 MIT 許可開源了 Overtone,它同時用 gpt-transcribe、Azure STT、ElevenLabs Scribe 三個語音模型轉寫,對結果衝突的片段重新送入模型,再由 LLM 結合可選上下文提示判斷實際說了什麼,官方稱多個測試檔案的詞錯率低於單模型方案。配套的規則切分器按螢幕比例生成字幕:16:9 與 9:16 處理不同,停頓處斷行、按說話人分組,人名和數字不跨字幕。
RainbowSay 是一款面向語言學習內容創作的工具:播放影片素材時逐句給出翻譯、帶讀音的詞彙表和語法註釋,並生成觀眾會暫停檢視的逐詞疊層字幕,可直接錄屏。它支援對任意影片或麥克風語音即時轉寫、生成雙語字幕,顏色、字號、位置均可自訂。每次會話都會儲存,轉寫文字可複製進指令碼,字幕可按口播時間或對齊原文匯出為 SRT。
Mistral AI 公布 Voxtral Small Transcribe 3,稱其在多語言轉寫、說話人分離和上下文偏置三項能力上達到當前最優(state-of-the-art)。該模型能檢測說話人何時結束髮言,使語音 agent 無需等待即可及時回應,面向需要即時語音互動的場景。官方此次只披露能力定位,未公布引數規模、基準分數、價格、許可證或上線時間,也未給出與同類模型的對比結果和開放使用方式。
OpenAI 為 ChatGPT 加入音訊檔案上傳功能,可生成轉錄、總結錄音內容並針對錄音提問,還能把會議、訪談或講座整理成結構化筆記或跟進郵件草稿。該功能面向付費 ChatGPT 訂閱與工作區開放,實際可用性受工作區設定、地區、客戶端版本和模型影響。官方提示轉錄可能包含錯誤,不同語言的表現也存在差異。
Meta Omnilingual ASR 被《時代》評為 2026 年度最佳發明之一。這套模型系列可為 1600 多種語言提供語音識別能力,其中 500 種低覆蓋語言此前從未被任何 ASR 系統支援。Meta 表示,多數 ASR 系統只覆蓋網際網路語料充足的語言,此次發布是邁向通用轉錄系統的重要一步。
Mistral 的 Voxtral Mini Transcribe 3 在 Voice Arena 的 Diarization + ASR 排行榜上排名第二,這是把說話人分離與語音轉寫放在一起評測的榜單。訊息由 Mistral 官方帳號發布,但沒有給出具體分數、與榜首的差距,也沒說明模型的開放方式與可用渠道。
開源工具 mlsubgen 可在本機為影片生成 45 種語言字幕,僅支援 Linux 與 NVIDIA 顯示卡。它按每段語音檢測語言而非整檔案,同時執行兩個語音識別器並用本地 LLM 調和,且優先使用內嵌字幕軌(含藍光 PGS 點陣圖 OCR),無字幕時才聽音訊。模型佔用 30–65 GB 儲存,需 16–32 GB 記憶體,作者在 24 GB RTX A5000 上實測,純聽音訊時約每個目標語言耗時接近即時。
llama.cpp 的 server 加入 Realtime transcription API,可按 GA Realtime 規範提供基於 WebSocket 的即時語音轉寫會話,會話物件採用 type transcription,輸入格式、轉寫模型、輪次檢測與降噪放在 audio.input 下。API key 中介軟體現在會在 WebSocket 握手階段鑑權,支援 Bearer、原始 key 與 X-Api-Key,401 在升級前返回;
把 Google 的 EmbeddingGemma 2 嵌入模型改造成語音轉文字模型 Embedding Gemma Transcribe 後,在 8GB 記憶體的基礎款 M3 MacBook Air 上,一小時音訊約 12.6 秒轉完,全程在端側 Neural Engine 執行。工具免費下載,要求 macOS 14+ 與 Apple Silicon,首次啟動下載 715MB 模型;可拖入音訊檔案,或按住右 Option 鍵說話、鬆開即聽寫到任意應用,音訊不離開本機。
Google 推出實驗性筆記應用 Google AI Edge Foresight,可在 macOS 上完全離線轉錄會議和音訊檔案。該應用免費,轉錄與摘要均由端側模型 EmbeddingGemma 2 完成,無需聯網。使用時可在會中記下簡寫要點,應用會結合轉錄文字將其轉成成稿筆記,定位類似 Granola、Wispr Flow 等 AI 筆記工具。
Mistral 推出 Voxtral 3 語音模型系列,並配套語音 agent SDK,將監聽、推理、工具呼叫和發音整合進一條即時流式處理管線。轉寫模型 Voxtral Small Transcribe 3 支援 50+ 語言、說話人分離和關鍵詞上下文偏置,官方稱它在多語言轉寫與說話人分離基準上優於 Whisper、Scribe v2 和 Gemini 3.5 Transcribe;Mini 版僅有 4B 引數,每分鐘 0.0035 美元。
YouTube 開始為經 AI「改動或完全生成」的歌曲加上「Made with AI」標籤,即日起上線,做法與其現有的影片 AI 標籤一致。該標籤並非覆蓋音樂製作中的所有 AI 用途,官方舉例包括用生成模型創作作曲與人聲。上傳歌曲的音樂合作伙伴需按規則披露生成式 AI 使用;若未披露,YouTube 稱可能借助「其他訊號」判斷歌曲是否為 AI 生成。
一位使用者僅向 Opus 5.5 提供創意、工作資料夾和音樂檔案,模型便自主完成了從調研到成片的全流程。它檢索了四年 AI 發展資料與素材,擷取文章和介面截圖,編寫 HTML 與動畫程式碼,用 Playwright 渲染畫面、FFmpeg 合成並加入音效,最終輸出完整影片。
Show HN 上的 PDF TO MP3 提供 MCP 伺服器,讓 Codex、Claude 等 AI 訂閱承擔 PDF 的文件處理,把文件轉成有聲書。用法是新增該 MCP 伺服器地址並完成認證,在對話裡附上 PDF 並要求呼叫它,另需一把 OpenAI 或 Google 的語音 API key;文件處理算在已付費訂閱內,語音生成按用量由 OpenAI 或 Google 單獨計費。
企業語音 AI 平台 PolyAI 的 CTO Shawn Wen 在 HumanX 大會上表示,全雙工模型雖已實現,語音 AI 仍未迎來自己的「ChatGPT 時刻」,下一步的關鍵是讓推理足夠快、對話足夠自然。會議記錄工具 Otter 的 CMO Alex Gay 指出,說話人識別、意圖捕捉並與組織知識結合才是自動化的關鍵,Otter 還在研發可代表參會者的數字孿生。兩人都提到 ASR 模型常漏掉關鍵詞,轉寫不準會讓後續動作全部出錯、使用者失去信任;
創作者 Marcello Costa 發布 AI 動畫短片 Monkey Business,整個流程幾乎都在 Claude 內完成。他通過 Seedance 2.5 skill 把自然語言提示轉成 Magnific 內 Seedance 2.5 工具的詳細視覺提示,99% 的過程發生在 Claude 中。首個提示設定專案規則後,僅用專案內術語即可協作,從開始到完成約 50 天,期間仍需大量迭代和後期製作。
有人做了一款工具,追蹤 AI 行業領袖在影片中的公開表態,並展示他們觀點隨時間的變化。目前收錄了 Dario Amodei(累計 54 條)、Alex Karp(51 條)、Marc Andreessen(49 條)、Sam Altman(45 條)、Palmer Luckey(40 條)、Satya Nadella(23 條)、Elon Musk(21 條)、Yann LeCun(6 條)等人,頁面同時標註本週新增條數,例如 Alexandr Wang 本週有 5 條。
The Verge 刊文指出,隨著 AI 硬體的出現,科技公司正在重新定義什麼才算「錄製」。過去帶麥克風或攝像頭的裝置基本只有開與關兩種狀態:麥克風採集聲音、攝像頭採集影像,資料先儲存在裝置上,有時再上傳雲端處理,這些被保留下來的時間切片就是錄製。文章認為這一定義正被打破,並援引 Bloomberg 記者 Mark Gurman 上週的報導,稱 Apple 正在開發一款智慧家居產品。
Mistral AI 上線 Pro Voice 的專業語音適配功能:使用者錄製最長 30 分鐘音訊,即可高保真復刻自己的聲音。官方稱復刻後的音色可在其支援的所有語言中使用,並強調“極高保真度”。公告未披露該功能的開放範圍、訂閱價格與具體上線時間。
Mistral 發布語音合成模型 Voxtral Mini TTS 3,官方稱其在 35 種以上語言和 50 多種方言上達到當前最佳的表達力。模型支援隱式指令跟隨,能從對話內容中讀出情緒、語速與重音;也支援顯式控制,用 [emotion=sad][pace=slow] 這類標籤逐行設定情緒和節奏。
Swift 包 AnySpeechRecognizer 發布,沿用 Apple SpeechAnalyzer 介面但可替換引擎,在裝置端用 Core ML 跑 NVIDIA Parakeet 與阿里 Qwen3-ASR,並新增說話人分離。Qwen3-ASR 覆蓋 30 種語言與 22 種中文方言(含粵語),但每段只給一個最終結果、無逐詞時間戳,速度慢於 Parakeet,更適合轉寫檔案。
一位業餘創作者在 Opus 5.5 發布後嘗試用 Claude 做影片剪輯,把 100 分鐘的多視角遊戲錄影剪成 50 分鐘的 YouTube 成片,全程未使用 DaVinci 或 Premiere。Claude 自動同步了音畫不同步的素材、生成轉錄並據此刪減冗餘、消除停頓、平衡音量,還製作了動畫片頭、箭頭與縮放等效果,並把錄影中的實體遊戲板重做成螢幕版。整個過程不到一天,作者只給了很少的指導。
一項新研究提出直接從語音中檢測語碼轉換(同一句話內多語言交替)的輕量方法,不再依賴先把語音轉寫成準確的多語言文字、再在文字中找語言交替。該方法利用預訓練語音基礎模型中的幀級語言資訊。研究動機是多語言語音中語碼轉換常見,但在預訓練語料中覆蓋不足,需要在大型語音集合中定位這類語句,以便納入訓練資料。
OpenAI 開發者帳號宣布新增九個語音預設,全部由法語、德語、印地語、日語和韓語的母語演員錄製,覆蓋五種語言。官方同步給出 custom voices 入門指南連結,指向 developers.openai.com 的 API 文件,供開發者瞭解如何開始使用。推文未說明音色名稱、可用模型、價格與開放範圍。
Retell AI 用 OpenAI 模型驅動其客服語音 agent,月通話量從 2026 年初的 3000 萬增至 9 月的 1 億通以上,其中 80% 通話由 OpenAI 模型生成回覆,累計消耗超 1 萬億 token。在 10 月 13 日的 vCX 基準中,GPT-6 Astra 以 89.7% 指令遵循率排名第一;發布前評測顯示 GPT-5.5 非幻覺率 88.0%、工具呼叫正確率 88.3%,均高於 Gemini-3.1-Pro 與 Claude-4.6。
AI 工具正在加速老遊戲的反編譯與重編譯移植,也讓專注遊戲儲存的社群遭到衝擊。過去一個月,瀏覽器裡的《光環》、iPhone 上的《風之杖》、混合現實中的《任天堂明星大亂鬥》等非常規移植專案高頻走紅。愛好者用 decomps/recomps 逆向拆解遊戲,再為新平台重建;AI 提高了移植速度,卻撕裂了原本緊密的儲存社群。
YC F26 團隊 Subvocal 在做一副能識別無聲口型的智慧眼鏡:使用者閉著嘴默唸,眼鏡發出類似藍牙的射頻訊號穿過面部,再由基礎模型把舌頭、嘴唇與軟顎的擾動解碼成文字,速度接近正常說話。團隊年初在 TreeHacks 用 EMG 電極復刻 MIT AlterEgo,因出汗、電氣干擾和貼電極不可行改為射頻方案,把天線嵌入鏡架。跨使用者差異靠擴大預訓練資料解決,影片中測試者只做了 20 句校準。目前仍是原型,未來數月繼續研發。
Google DeepMind 發布一期播客,討論 AI 生成內容日益逼真後如何驗證內容來自人類、機器還是自然。節目介紹內容溯源的作用,並講解不可感知水印如何保護數字媒體與生物設計,時間軸涵蓋水印概念、SynthID、影像與影片、SynthID Bio 及未來韌性等章節。