TUM 提出 Tadpole：自編碼器預訓練 3D 物理基礎模型，線上學習免存 202TB 資料
慕尼黑工業大學團隊提出 Tadpole，用自編碼器而非預測下一時刻作為預訓練目標，先學三維物理場的通用表示，再遷移到重建、動力學預測與生成。預訓練採用線上學習，GPU 上的求解器即時生成資料直接送入訓練，累計使用約 202 TB 資料卻無需本地儲存，在高速 SSD 環境下整體速度約為離線方案的 1.8 倍。模型用隨機裁剪區域性區域統一不同變數數與解析度的資料，零樣本重建最高到 1024³；
Tadpole 把自編碼器重構作為三維 PDE 基礎模型的預訓練目標，用線上學習累計喂入約 202 TB 資料而無需落盤，並給出 1.8 倍速度提升的實測，對做科學機器學習與物理模擬的開發者有參考價值。
原標題：从「预测未来」到「理解世界」：Tadpole与一种新的科学基础模型思路
閱讀原文
| 評分 | 70 / 72（平均 71，門檻 65） |
|---|---|
| 狀態 | 精選 |
相關報導
首個三模態掩碼擴散模型：文字影像音訊聯合預訓練
研究者提出首個從零預訓練的三模態掩碼擴散模型（MDM），訓練資料涵蓋文字、圖文與音訊文字，不同於以往先訓練單模態基座再微調出雙模態能力的做法。論文系統分析了多模態縮放定律、模態混合比例、噪聲排程與批大小的影響，並給出經過最佳化的推理取樣預設引數；批大小分析還引出一種基於隨機微分方程（SDE）的新方法（原文此處截斷）。
清華提出樣本分佈訓練，一步生圖 SOTA、8 卡訓 14B 影片模型
清華大學等機構提出「樣本分佈訓練」，用一批生成樣本與參考樣本的整體分佈差異提供監督，取代逐樣本的參考答案，把生成壓縮到一步或少數幾步。MGFlow 在 ImageNet 256×256 上把 pMF-H、JiT-H 的單步 FDr⁶ 降至 1.45、1.64，較 FD-Loss 降低約 23% 和 38%；後訓練 FLUX.2 [klein] 4B 一步文生圖，GenEval 從四步的 0.794 升至 0.900。
UniEvo-VL：多模態模型自蒸餾自我進化訓練配方
arXiv 上提交的 UniEvo-VL 提出一種 on-policy 自蒸餾訓練方法：讓同一個多模態模型分別以學生和教師身份出現，學生只看原始問題，教師額外看到自我批評作為特權資訊，訓練目標是縮小兩者在取樣軌跡上去噪擴散分佈的差異，無需依賴更大的外部教師模型。基於開源 Qwen-image-2512，GenEval 從 0.747 升至 0.808，GenEval2 Soft-TIFA 從 32.97 升至 35.53。
Dust：不用反向傳播預訓練 Transformer 的零階方法
研究者提出 Dust，稱這是首個在預訓練 Transformer 語言模型上與反向傳播有競爭力的零階方法。它不擾動權重，而是在每個 token 上獨立擾動啟用（node perturbation），把每個 token 當作一個虛擬種群成員，一次前向傳播即可並行評估全部成員。論文稱在種群規模足夠大（即算力顯著更多）時 Dust 接近反向傳播，部分設定下甚至超過；
跨維智慧發布 3D 原生機器人世界模型 UNITAS，1.7B 引數登頂多項操作基準
跨維智慧發布 UNITAS，稱其為首個機器人任務原生的 3D 世界模型，把觀測、動作與環境變化統一到同一三維物理空間，用點的位置與軌跡表示，引數僅 1.7B。它在 LIBERO 取得 99.8% 平均成功率、LIBERO-Plus 89.1%，RoboTwin 2.0 雙臂 Clean 與 Randomized 分別 92.94% 和 93.04%，超過 6B 的 Fast-WAM 與 8B 的 Motus，真實機器人任務平均成功率 85%。