Apple Machine Learning ResearchAI 評分55
語言判別訓練縮小多語言語音模型與單語模型差距
研究顯示,在相同預訓練資料預算下,多語言自監督語音模型仍落後於單語模型。作者在英語/法語 HuBERT 受控設定中測試兩種強化語言判別的干預,發現可縮小甚至在某些指標上消除這一差距,同時保留大量跨語言共享。
找到 2 筆;也可以試試 語意搜尋
研究顯示,在相同預訓練資料預算下,多語言自監督語音模型仍落後於單語模型。作者在英語/法語 HuBERT 受控設定中測試兩種強化語言判別的干預,發現可縮小甚至在某些指標上消除這一差距,同時保留大量跨語言共享。
一項新研究提出直接從語音中檢測語碼轉換(同一句話內多語言交替)的輕量方法,不再依賴先把語音轉寫成準確的多語言文字、再在文字中找語言交替。該方法利用預訓練語音基礎模型中的幀級語言資訊。研究動機是多語言語音中語碼轉換常見,但在預訓練語料中覆蓋不足,需要在大型語音集合中定位這類語句,以便納入訓練資料。