Apple Machine Learning ResearchAI 評分55
語言判別訓練縮小多語言語音模型與單語模型差距
研究顯示，在相同預訓練資料預算下，多語言自監督語音模型仍落後於單語模型。作者在英語/法語 HuBERT 受控設定中測試兩種強化語言判別的干預，發現可縮小甚至在某些指標上消除這一差距，同時保留大量跨語言共享。
搜尋
找到 3 筆；也可以試試 語意搜尋
Hugging Face blog● 精選AI 評分75
NVIDIA 聯手 AI4Bharat 開源 2.8 萬億 token 印度語語料
NVIDIA 與 IIT Madras 的 AI4Bharat 實驗室聯合發布 Nemotron-pretraining-Indic-v1，約 2.8 萬億 token，覆蓋印度憲法列出的 22 種語言，即將開源，同時開放用於生成該語料、GPU 加速的資料生產流程。語料含 2,601.0 億原生文字 token 與 224.6 億羅馬化 token（按 Gemma-4 分詞器計），共 34 種語言—文字組合，其中 12 種語言另有羅馬化文字。
Apple Machine Learning Research● 精選AI 評分60
雙語預訓練在資料受限場景優於超引數調優
論文發現，在資料受限的低資源語言預訓練中，混入高資源輔助語言的資料比激進超引數調優更有效。原文指出，世界上多數語言可用的預訓練資料有限，模型必須反覆重複同一批資料，導致泛化能力下降。此前的兩種補救辦法是：用高權重衰減等激進調參壓縮權重、限制網路容量；或按可調混合比例摻入輔助語言資料，擴大訓練分佈、豐富訓練訊號。該研究在資料受限條件下對二者做了對比，結論是雙語預訓練勝過超引數搜尋。