語音基礎模型可直接從語音中檢測語碼轉換
一項新研究提出直接從語音中檢測語碼轉換(同一句話內多語言交替)的輕量方法,不再依賴先把語音轉寫成準確的多語言文字、再在文字中找語言交替。該方法利用預訓練語音基礎模型中的幀級語言資訊。研究動機是多語言語音中語碼轉換常見,但在預訓練語料中覆蓋不足,需要在大型語音集合中定位這類語句,以便納入訓練資料。
提出繞開多語言轉寫的語碼轉換檢測思路,直接用語音基礎模型的幀級語言資訊判斷,對建置多語言語音訓練集、做語音資料篩選的研究者有用。
原標題:Code-Switching Detection via Language-Selective Dimensions in Speech Foundation Models
閱讀原文
| 評分 | 55 / 60(平均 57,門檻 60) |
|---|---|
| 狀態 | 未入選 |
相關報導
語言判別訓練縮小多語言語音模型與單語模型差距
研究顯示,在相同預訓練資料預算下,多語言自監督語音模型仍落後於單語模型。作者在英語/法語 HuBERT 受控設定中測試兩種強化語言判別的干預,發現可縮小甚至在某些指標上消除這一差距,同時保留大量跨語言共享。
EmbeddingGemma 2 改作語音轉文字,MacBook Air 上一小時音訊約 13 秒
把 Google 的 EmbeddingGemma 2 嵌入模型改造成語音轉文字模型 Embedding Gemma Transcribe 後,在 8GB 記憶體的基礎款 M3 MacBook Air 上,一小時音訊約 12.6 秒轉完,全程在端側 Neural Engine 執行。工具免費下載,要求 macOS 14+ 與 Apple Silicon,首次啟動下載 715MB 模型;可拖入音訊檔案,或按住右 Option 鍵說話、鬆開即聽寫到任意應用,音訊不離開本機。
Whistle 發布 16.9 MB 語音識別模型,CPU 上執行並支援七種語言
Whistle 是一個 16.9 MB 的單檔案端側語音識別模型,無依賴、在 CPU 上執行,與 Needle 共用同一套 C++ 引擎。它支援英語、德語、法語、西班牙語、義大利語、荷蘭語和波蘭語,單次最多處理 30 秒 16 kHz 單聲道音訊,可自動檢測語種,並輸出逐詞時間戳與語音嵌入。
TII 發布 1.6B 阿拉伯語語音識別模型 Falcon-ASR,主打阿聯酋方言
阿布扎比技術創新研究院(TII)發布 1.6B 引數的語音識別模型 Falcon-ASR,主打阿拉伯語與阿聯酋方言,同一套權重還支援英語、法語、西班牙語和葡萄牙語。在六個阿拉伯語測試集上,它取得 20.92% 的平均詞錯率,比其所用榜單快照中最佳公開結果 23.17% 低 2.25 個百分點;內部阿聯酋方言評測為 22.73% WER、10.19% CER,比次優的 Qwen3-Omni 低 4.07 個百分點。
LiquidAI 發布 LFM2.5-Encoder 250M/350M 編碼器
LiquidAI 發布 LFM2.5-Encoder 系列,含 250M 與 350M 兩個版本,基於 LFM2 架構的雙向掩碼語言模型,支援 15 種語言、8k 上下文,可微呼叫於分類、檢索、重排與語義相似度等任務。官方稱其吞吐量持平或超過 ModernBERT,CPU 長上下文有優勢,並可在瀏覽器 WebGPU 上執行;GGUF 權重已上傳 Hugging Face,llama.cpp 已提交對應支援 PR。