雙語預訓練在資料受限場景優於超引數調優
論文發現,在資料受限的低資源語言預訓練中,混入高資源輔助語言的資料比激進超引數調優更有效。原文指出,世界上多數語言可用的預訓練資料有限,模型必須反覆重複同一批資料,導致泛化能力下降。此前的兩種補救辦法是:用高權重衰減等激進調參壓縮權重、限制網路容量;或按可調混合比例摻入輔助語言資料,擴大訓練分佈、豐富訓練訊號。該研究在資料受限條件下對二者做了對比,結論是雙語預訓練勝過超引數搜尋。
依意思最接近的 7 筆
論文發現,在資料受限的低資源語言預訓練中,混入高資源輔助語言的資料比激進超引數調優更有效。原文指出,世界上多數語言可用的預訓練資料有限,模型必須反覆重複同一批資料,導致泛化能力下降。此前的兩種補救辦法是:用高權重衰減等激進調參壓縮權重、限制網路容量;或按可調混合比例摻入輔助語言資料,擴大訓練分佈、豐富訓練訊號。該研究在資料受限條件下對二者做了對比,結論是雙語預訓練勝過超引數搜尋。
ServiceNow CoreAI 團隊發布 AutoSynthData,用目標模型的失敗案例和更強教師模型的成功軌跡定位能力缺口,再自動生成並驗證新任務用於後訓練。任務由系統規範、使用者提示和驗證器三部分組成,需滿足可行性、真實性與難度要求,驗證器則要求一致、可靠且不繫結單一參考軌跡。團隊在 EnterpriseOps Gym 資料集上演示了該流程,模型提升後課程會轉向仍難完成的任務。
研究顯示,在相同預訓練資料預算下,多語言自監督語音模型仍落後於單語模型。作者在英語/法語 HuBERT 受控設定中測試兩種強化語言判別的干預,發現可縮小甚至在某些指標上消除這一差距,同時保留大量跨語言共享。
阿布扎比技術創新研究院(TII)發布 1.6B 引數的語音識別模型 Falcon-ASR,主打阿拉伯語與阿聯酋方言,同一套權重還支援英語、法語、西班牙語和葡萄牙語。在六個阿拉伯語測試集上,它取得 20.92% 的平均詞錯率,比其所用榜單快照中最佳公開結果 23.17% 低 2.25 個百分點;內部阿聯酋方言評測為 22.73% WER、10.19% CER,比次優的 Qwen3-Omni 低 4.07 個百分點。
企業語音 AI 平台 PolyAI 的 CTO Shawn Wen 在 HumanX 大會上表示,全雙工模型雖已實現,語音 AI 仍未迎來自己的「ChatGPT 時刻」,下一步的關鍵是讓推理足夠快、對話足夠自然。會議記錄工具 Otter 的 CMO Alex Gay 指出,說話人識別、意圖捕捉並與組織知識結合才是自動化的關鍵,Otter 還在研發可代表參會者的數字孿生。兩人都提到 ASR 模型常漏掉關鍵詞,轉寫不準會讓後續動作全部出錯、使用者失去信任;
Cloudflare 在生日周宣布,將歐洲兩個公共機構訓練的開源模型 EuroLLM 和 Apertus 引入 Workers AI,現已開放訪問申請。EuroLLM 覆蓋 35 種語言,含全部 24 種歐盟官方語言;Apertus 由瑞士 ETH Zurich、EPFL 等開發,訓練資料超 15 萬億 token、覆蓋 1500 多種語言,權重與資料全部公開。Cloudflare 同時啟動面向政府網路安全機構與關鍵基礎設施運營方的實操工作坊,首場 10 月在新加坡舉行。
Biohub、美國能源部(DOE)、NIH 與 Google DeepMind、Isomorphic Labs、Meta 等宣布共同投入 18 億美元,生成面向 AI 的開放生物學資料。其中 DOE 五年投入逾 5 億美元用於測量、建模與算力,NIH 協調此前超 5 億美元聯邦投資積累的生物醫學資料集,三家科技公司則向 2026 年 4 月啟動的 Virtual Biology Initiative 合計投入 3 億美元。