Overtone 開源:多模型轉寫字幕並由 LLM 糾錯,按螢幕比例切分
Lont 以 MIT 許可開源了 Overtone,它同時用 gpt-transcribe、Azure STT、ElevenLabs Scribe 三個語音模型轉寫,對結果衝突的片段重新送入模型,再由 LLM 結合可選上下文提示判斷實際說了什麼,官方稱多個測試檔案的詞錯率低於單模型方案。配套的規則切分器按螢幕比例生成字幕:16:9 與 9:16 處理不同,停頓處斷行、按說話人分組,人名和數字不跨字幕。
原標題:Show HN: Overtone – Transcribe, correct and cut captions for any screen shape
閱讀原文
| 評分 | 48 / 45(平均 46,門檻 76) |
|---|---|
| 狀態 | 未入選 |
相關報導
輝達開源 Nemotron 3.5 Transcribe:轉寫、說話人分離與翻譯合一
輝達發布開放權重模型 Nemotron 3.5 Transcribe,用同一個 checkpoint 同時完成轉寫、說話人分離、翻譯與音訊問答,已在 Hugging Face 和 ModelScope 上線。它支援 40 種語言轉寫、31 種語言與英語互譯、13 種語言的說話人區分,可處理最長 1 小時錄音、標註最多 8 位說話人,並支援用自然語言提示控制輸出格式與專業術語。
Ollama 上線語音模型,首發 Phonon 文字轉語音
Ollama 0.40.11 起可直接執行語音模型,首個是 Gradium 的文字轉語音模型 Phonon,目前僅支援 Apple Silicon 的 Mac,Windows 與 Linux 稍後推出。在 M5 Max 的 MacBook Pro 上,其速度比 Gradium 自家執行時快 35%,詞錯率與 Hugging Face Transformers 參考實現持平;可用 --voice 選音色,另有法、德、西、葡等 40M 多語言版本。
llama.cpp 在 mtmd 中支援 Soprano TTS 語音模型
llama.cpp 合併 PR #28607,在 mtmd 中加入 Soprano TTS 語音生成支援,可載入 Soprano-80M 與 Soprano-1.1-80M。兩個模型均為 Qwen3 主幹加 Vocos 解碼器:轉換指令碼可自動識別 checkpoint,把主幹匯出為 qwen3、把 decoder.pth 匯出為 mmproj,同時新增 Soprano 預分詞器(小寫、空白摺疊、逐數字切分、[UNK] 兜底)與 Vocos 計算圖和 ISTFT。
Hurston-1 開源 TTS 發布,擅長美國南方與地區非裔英語口音
Hurston-1 以 Apache-2.0 協議開源,這是一個基於 Maya1 微調的窄帶 TTS 模型,主攻美國英語,尤其是南方口音與地區非裔英語,輸出面向電話場景。作者從 2 萬多人處收集了 1800 小時授權語音,本次只取其中 136 小時用於微調。據作者說明,該模型不支援聲音克隆,跨 prompt 的音色也無法保持一致;它已用於 Amazon、Salesforce 等客戶,累計帶來超過 50 萬美元收入。
llama.cpp 新增 LiquidAI LFM3-Audio 與 LFM3-Omni 2B 支援
llama.cpp 已合併對 LiquidAI LFM3-Audio-2B 與 LFM3-Omni-2B 兩個音訊模型的支援。轉換指令碼改為按模型自帶的 config.json 讀取,並按 model_type 自動識別;LFM3-Audio 的 depthformer 關閉 flash attention,編碼器卷積與 codec 保持不量化。