RainbowSay:影片即時雙語字幕,逐句附詞彙與語法註釋
RainbowSay 是一款面向語言學習內容創作的工具:播放影片素材時逐句給出翻譯、帶讀音的詞彙表和語法註釋,並生成觀眾會暫停檢視的逐詞疊層字幕,可直接錄屏。它支援對任意影片或麥克風語音即時轉寫、生成雙語字幕,顏色、字號、位置均可自訂。每次會話都會儲存,轉寫文字可複製進指令碼,字幕可按口播時間或對齊原文匯出為 SRT。
依意思最接近的 22 筆
RainbowSay 是一款面向語言學習內容創作的工具:播放影片素材時逐句給出翻譯、帶讀音的詞彙表和語法註釋,並生成觀眾會暫停檢視的逐詞疊層字幕,可直接錄屏。它支援對任意影片或麥克風語音即時轉寫、生成雙語字幕,顏色、字號、位置均可自訂。每次會話都會儲存,轉寫文字可複製進指令碼,字幕可按口播時間或對齊原文匯出為 SRT。
開源工具 mlsubgen 可在本機為影片生成 45 種語言字幕,僅支援 Linux 與 NVIDIA 顯示卡。它按每段語音檢測語言而非整檔案,同時執行兩個語音識別器並用本地 LLM 調和,且優先使用內嵌字幕軌(含藍光 PGS 點陣圖 OCR),無字幕時才聽音訊。模型佔用 30–65 GB 儲存,需 16–32 GB 記憶體,作者在 24 GB RTX A5000 上實測,純聽音訊時約每個目標語言耗時接近即時。
OpenAI 開發者帳號宣布新增九個語音預設,全部由法語、德語、印地語、日語和韓語的母語演員錄製,覆蓋五種語言。官方同步給出 custom voices 入門指南連結,指向 developers.openai.com 的 API 文件,供開發者瞭解如何開始使用。推文未說明音色名稱、可用模型、價格與開放範圍。
Meta Omnilingual ASR 被《時代》評為 2026 年度最佳發明之一。這套模型系列可為 1600 多種語言提供語音識別能力,其中 500 種低覆蓋語言此前從未被任何 ASR 系統支援。Meta 表示,多數 ASR 系統只覆蓋網際網路語料充足的語言,此次發布是邁向通用轉錄系統的重要一步。
輝達發布開放權重模型 Nemotron 3.5 Transcribe,用同一個 checkpoint 同時完成轉寫、說話人分離、翻譯與音訊問答,已在 Hugging Face 和 ModelScope 上線。它支援 40 種語言轉寫、31 種語言與英語互譯、13 種語言的說話人區分,可處理最長 1 小時錄音、標註最多 8 位說話人,並支援用自然語言提示控制輸出格式與專業術語。
輝達發布免費開源權重語音轉寫模型 Nemotron 3.5 Transcribe,支援最多 40 種語言,可處理長達一小時的錄音、區分最多 8 位說話人,並能在 31 種語言與英語之間互譯。該模型為 300 億引數,官方稱可執行在單顆晶片上,涵蓋 Jetson AGX Thor、DGX Spark 與 Blackwell 資料中心晶片;同期還發布了開源語音資料集 Granary 第二版。主要限制是只能處理已錄製音訊,不支援即時直播流。
NVIDIA 與 IIT Madras 的 AI4Bharat 實驗室聯合發布 Nemotron-pretraining-Indic-v1,約 2.8 萬億 token,覆蓋印度憲法列出的 22 種語言,即將開源,同時開放用於生成該語料、GPU 加速的資料生產流程。語料含 2,601.0 億原生文字 token 與 224.6 億羅馬化 token(按 Gemma-4 分詞器計),共 34 種語言—文字組合,其中 12 種語言另有羅馬化文字。
Lont 以 MIT 許可開源了 Overtone,它同時用 gpt-transcribe、Azure STT、ElevenLabs Scribe 三個語音模型轉寫,對結果衝突的片段重新送入模型,再由 LLM 結合可選上下文提示判斷實際說了什麼,官方稱多個測試檔案的詞錯率低於單模型方案。配套的規則切分器按螢幕比例生成字幕:16:9 與 9:16 處理不同,停頓處斷行、按說話人分組,人名和數字不跨字幕。
OpenAI 為 ChatGPT、Codex 和 dots 的語音功能推送 GPT-Live-1.1,新增法語、德語、印地語、墨西哥西班牙語、韓語和日語的新語音,口音更自然,並減少了「checking...」這類停頓。該更新今日起向所有使用者推送,API 稍後支援。
Mistral AI 公布 Voxtral Small Transcribe 3,稱其在多語言轉寫、說話人分離和上下文偏置三項能力上達到當前最優(state-of-the-art)。該模型能檢測說話人何時結束髮言,使語音 agent 無需等待即可及時回應,面向需要即時語音互動的場景。官方此次只披露能力定位,未公布引數規模、基準分數、價格、許可證或上線時間,也未給出與同類模型的對比結果和開放使用方式。
企業語音 AI 平台 PolyAI 的 CTO Shawn Wen 在 HumanX 大會上表示,全雙工模型雖已實現,語音 AI 仍未迎來自己的「ChatGPT 時刻」,下一步的關鍵是讓推理足夠快、對話足夠自然。會議記錄工具 Otter 的 CMO Alex Gay 指出,說話人識別、意圖捕捉並與組織知識結合才是自動化的關鍵,Otter 還在研發可代表參會者的數字孿生。兩人都提到 ASR 模型常漏掉關鍵詞,轉寫不準會讓後續動作全部出錯、使用者失去信任;
Mistral 發布語音合成模型 Voxtral Mini TTS 3,官方稱其在 35 種以上語言和 50 多種方言上達到當前最佳的表達力。模型支援隱式指令跟隨,能從對話內容中讀出情緒、語速與重音;也支援顯式控制,用 [emotion=sad][pace=slow] 這類標籤逐行設定情緒和節奏。
Claude 應用在網頁、桌面、iOS 和 Android 四個平台新增 24 種語言支援,語言總數達到 33 種。新增語種包括孟加拉語、丹麥語、斯瓦希里語、泰語、土耳其語、烏克蘭語和越南語等。官方此次公布只涉及語言範圍,未提到其他功能或訂閱方案的變化。
阿布扎比技術創新研究院(TII)發布 1.6B 引數的語音識別模型 Falcon-ASR,主打阿拉伯語與阿聯酋方言,同一套權重還支援英語、法語、西班牙語和葡萄牙語。在六個阿拉伯語測試集上,它取得 20.92% 的平均詞錯率,比其所用榜單快照中最佳公開結果 23.17% 低 2.25 個百分點;內部阿聯酋方言評測為 22.73% WER、10.19% CER,比次優的 Qwen3-Omni 低 4.07 個百分點。
創作者 Marcello Costa 發布 AI 動畫短片 Monkey Business,整個流程幾乎都在 Claude 內完成。他通過 Seedance 2.5 skill 把自然語言提示轉成 Magnific 內 Seedance 2.5 工具的詳細視覺提示,99% 的過程發生在 Claude 中。首個提示設定專案規則後,僅用專案內術語即可協作,從開始到完成約 50 天,期間仍需大量迭代和後期製作。
研究顯示,在相同預訓練資料預算下,多語言自監督語音模型仍落後於單語模型。作者在英語/法語 HuBERT 受控設定中測試兩種強化語言判別的干預,發現可縮小甚至在某些指標上消除這一差距,同時保留大量跨語言共享。
一項新研究提出直接從語音中檢測語碼轉換(同一句話內多語言交替)的輕量方法,不再依賴先把語音轉寫成準確的多語言文字、再在文字中找語言交替。該方法利用預訓練語音基礎模型中的幀級語言資訊。研究動機是多語言語音中語碼轉換常見,但在預訓練語料中覆蓋不足,需要在大型語音集合中定位這類語句,以便納入訓練資料。
一篇部落格文章認為,William Gibson 在 2020 年小說 Agency 中描繪的 AI 助手 Eunice 已接近現實。書中 Eunice 被啟動後一邊對話,一邊自行在後臺取用資訊、調動資源;文章指出,如今 GPT-Live 與 Block 的 Dessa 已帶來接近真人的全雙工對話,OpenAI 的 Dots 和 Meta 的 Muse 則在引入可 24/7 獨立追求目標、在後臺行動的 agent。
OpenAI 表示,最新一輪模型能力提升集中在 COBOL、Fortran、Visual Basic 等低資源程式語言,增強了這類軟體的建置與遷移能力。這些語言支撐著銀行、政府和企業長期依賴的系統;OpenAI 的目標是理解數十年的業務邏輯,並在保留可用部分的前提下幫助開發者完成現代化改造。OpenAI 稱會圍繞開發者與企業客戶提出的實際難題推進,並公開徵集下一批需要支援的語言與工作流。
Higgsfield AI 藉助 GPT-6 Astra,把 AI 生成影片的時長從原先約 1 分鐘提升到 10 分鐘以上,CEO Alex Mashrabov 稱這緩解了長影片中畫面一致性的難題。配合 GPT-Image-2.5,平台可穩定渲染影像上的文字與資訊圖,服務缺少製作預算的小商家。Codex 讓約 200 名創意人員把想法直接做成軟體原型,團隊還用 GPT-6 Astra 生成長度超 10 分鐘的教學影片。
awslabs 發布 AI-DLC 最新穩定版,這是一套與 harness 無關的 AI 編碼工作流核心,可原生執行在 Claude Code、Kiro CLI、Kiro IDE、Codex CLI、Cursor、opencode 與 GitHub Copilot 中。macOS、Linux、WSL 和 Windows 各有一條安裝命令,原生安裝自帶 aidlc 命令與各 harness 執行時,無需 Bun 或 Node.js。
有人做了一款工具,追蹤 AI 行業領袖在影片中的公開表態,並展示他們觀點隨時間的變化。目前收錄了 Dario Amodei(累計 54 條)、Alex Karp(51 條)、Marc Andreessen(49 條)、Sam Altman(45 條)、Palmer Luckey(40 條)、Satya Nadella(23 條)、Elon Musk(21 條)、Yann LeCun(6 條)等人,頁面同時標註本週新增條數,例如 Alexandr Wang 本週有 5 條。