雙語預訓練在資料受限場景優於超引數調優
論文發現，在資料受限的低資源語言預訓練中，混入高資源輔助語言的資料比激進超引數調優更有效。原文指出，世界上多數語言可用的預訓練資料有限，模型必須反覆重複同一批資料，導致泛化能力下降。此前的兩種補救辦法是：用高權重衰減等激進調參壓縮權重、限制網路容量；或按可調混合比例摻入輔助語言資料，擴大訓練分佈、豐富訓練訊號。該研究在資料受限條件下對二者做了對比，結論是雙語預訓練勝過超引數搜尋。
為低資源語言的預訓練給出了一條比反覆調參更有效的替代路徑，並解釋了資料混合比例與權重衰減兩種正則化思路的差異，對做多語言模型和資料受限訓練的團隊有直接參考價值。
原標題：Mix, Don't Tune: Bilingual Pre-Training Outperforms Hyperparameter Search in Data-Constrained Settings
閱讀原文
| 評分 | 62 / 58（平均 60，門檻 60） |
|---|---|
| 狀態 | 精選 |
相關報導
語言判別訓練縮小多語言語音模型與單語模型差距
研究顯示，在相同預訓練資料預算下，多語言自監督語音模型仍落後於單語模型。作者在英語/法語 HuBERT 受控設定中測試兩種強化語言判別的干預，發現可縮小甚至在某些指標上消除這一差距，同時保留大量跨語言共享。
Dust：不用反向傳播預訓練 Transformer 的零階方法
研究者提出 Dust，稱這是首個在預訓練 Transformer 語言模型上與反向傳播有競爭力的零階方法。它不擾動權重，而是在每個 token 上獨立擾動啟用（node perturbation），把每個 token 當作一個虛擬種群成員，一次前向傳播即可並行評估全部成員。論文稱在種群規模足夠大（即算力顯著更多）時 Dust 接近反向傳播，部分設定下甚至超過；
@GoogleDeepMind: At 740M parameters, it’s competitive across benchmarks – even outperforming some specialist models …
Google DeepMind 推出 EmbeddingGemma 2 嵌入模型，740M 引數在多項基準上具備競爭力，甚至超過部分引數量兩倍以上的專用模型。模型以 Apache 2.0 許可發布，權重已上線 Hugging Face 與 Kaggle。開發者可用它為應用加入多模態檢索，例如用語音備忘錄定位影片片段，也可與 Gemma 4 搭配實現端側私有 RAG。