Apple Machine Learning Research● 精選AI 評分60
雙語預訓練在資料受限場景優於超引數調優
論文發現，在資料受限的低資源語言預訓練中，混入高資源輔助語言的資料比激進超引數調優更有效。原文指出，世界上多數語言可用的預訓練資料有限，模型必須反覆重複同一批資料，導致泛化能力下降。此前的兩種補救辦法是：用高權重衰減等激進調參壓縮權重、限制網路容量；或按可調混合比例摻入輔助語言資料，擴大訓練分佈、豐富訓練訊號。該研究在資料受限條件下對二者做了對比，結論是雙語預訓練勝過超引數搜尋。